记录一次Flink+ELK实践,实时监控flink任务

本文介绍了如何利用Flink将日志写入文件,并结合ELK(Elasticsearch, Logstash, Kibana)实现日志的实时监控。通过ELK的可视化图表,能够有效监控Flink任务状态,及时发现并处理异常。在配置过程中,重点讨论了Flink的日志配置,特别是logback的设置,以确保日志正确写入文件。" 78993467,919409,Win10环境下安装Pydot指南,"['Python', '数据可视化', '图形库', '开发工具']
摘要由CSDN通过智能技术生成

话不多说,先上图。
在这里插入图片描述
通过上图的流程elk与flink的联系在于日志文件,flink程序将日志写入文件,filebeat读取文件。
实时流任务意外的挂掉,没有数据是程序问题还是程序出问题,写入redis数据到底有没有写入,写入有没有异常,这些问题在开发中一直伴随着这个问题,为了更好的解决这个问题,考虑到一个方案,那就是elk日志系统的特点,优美的可视化图标,超时相关的饼图,数量频次统计的折线图,与我们的需求不谋而合,最后完美的切合了报警处理,让我们能更好及时的发现问题所在。
在引入的过程中,出现了种种问题,在官方文档了解到,为了程序员更好的控制日志,提供了logback日志,我像往常springboot中的一样在flink中加入了logback的配置,测试起来我们的程序,发现日志文件并没有打印进去日志,经历过种种,发现了logback的配置在集群中,自身提供了三种logback配置文件,去flink的包目录下看到,就会一目了然

<!-- INFO级别日志 appender -->
    <appender name="INFO_LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
 
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值