记录一次Flink+ELK实践,实时监控flink任务
话不多说,先上图。
通过上图的流程elk与flink的联系在于日志文件,flink程序将日志写入文件,filebeat读取文件。
实时流任务意外的挂掉,没有数据是程序问题还是程序出问题,写入redis数据到底有没有写入,写入有没有异常,这些问题在开发中一直伴随着这个问题,为了更好的解决这个问题,考虑到一个方案,那就是elk日志系统的特点,优美的可视化图标,超时相关的饼图,数量频次统计的折线图,与...
原创
2019-12-16 17:39:10 ·
3851 阅读 ·
1 评论