Flink系列--Flink监控告警初探

1 背景

Flink流任务开发完成，然后提交运行就万事大吉了吗？流任务通常是对于数据源源不断的拉取，持续不断的计算，不断更新或者产出结果，任务一旦启动，会长时间运行。所以，任务正常的运行且按照用户想要的逻辑正确的、长时间的稳定运行是流任务保障的核心诉求。

对于当前平台针对任务的运行状态变化提供了监控告警，此方式在任务停止后通知用户任务存在问题，但是任务为何停止，目前只能人工干预通过看日志、重跑任务、分析代码等方式定位，效率较低，可回溯内容较少，对于Flink机制认识不深或者不熟悉的人来说，体验较差。

是否可以在任务运行中监控数据反压情况、io使用情况、数据处理逻辑等，做到提前感知风险，提供实时告警；也可存储监控指标，协助定位问题，提供任务可检测、可维护性，答案是无疑可以的。Flink针对job，task、operate多层次提供了指标监控，可帮助我们针对任务进行全链路监控，提升任务可维护性。

当前业界也有成熟的界面方案： Prometheus（自研或其它时序数据库） + grafana（自研或者其它图表展示组件）。（查看附录链接和示意图）

平台当前任务数较少，考虑投入产出比，当前以针对用户常遇到的问题为出发点，构建监控告警项，帮助用户管理维护Flink作业。

2 Flink metric介绍

Metrics | Apache Flink

主要系统metric截图如下：

3 核心监控项

3.1 系统指标

除了以下列举的，针对自定义connector或者datastream程序可以添加业务指标，提升作业可维护性。

序号	指标类型	关键metric	描述
1	可用性	如 numRestarts	The total number of restarts since this job was submitted, including full restarts and fine-grained restarts.
2	内存	如 Heap.Used Heap.Max	The amount of heap memory currently used (in bytes). he maximum amount of heap memory that can be used for memory management (in bytes).
3	checkpointing	如lastCheckpointDuration	The time it took to complete the last checkpoint (in milliseconds).
4	GC	<GarbageCollector>.Count <GarbageCollector>.Time	The total number of collections that have occurred. The total time spent performing garbage collection.
5	流量	如 numBytesOutPerSecond	The number of bytes this task emits per second.
6	CPU	Status.JVM.CPU Load Status.JVM.CPU Time	The recent CPU usage of the JVM. The CPU time used by the JVM.
7	网络	如numBuffersInLocalPerSecond	The number of network buffers this task reads from a local source per second. （Metrics related to data exchange between task executors using netty network communication.）
8	Connector	loopFrequencyHz	The number of calls to getRecords in one secon
	...
9	自定义指标	处理逻辑耗时打点 业务出错告警 处理失败的数据占比 过滤数据统计、占比 超时丢弃数据量 等

3.2 监控维度

作业状态相关	作业性能相关	业务逻辑相关
作业故障	处理延迟	上游数据问题
运行不稳定	数据倾斜	数据丢失
影响可用性的风险因素 （cpu，内存，网络，io等）	性能瓶颈	数据处理出错率高

3.3 监控应用场景

1、监控告警、异常上报

2、问题定位、回溯-> 智能诊断

3、智能运维（自动运维、资源优化）

4 单个作业全链路监控

平台当前任务数较少，考虑投入产出比，当前以针对用户常遇到的问题为出发点，构建监控告警项，帮助用户管理维护Flink作业。

1、第一步 核心指标监控体系

根据核心指标，构建监控项，进行监控告警配置，提升作业可维护性

如作业运行状态，数据倾斜、反压，source/sink连通性等

指标采集： metricReport & Flink rest api方式获取

示例：参考阿里dataphin

报警原因	报警规则
业务延时过高	当任务运行过程中的延时超过设定时间后，即可触发报警。
TPS超过范围	当任务运行过程中的TPS（Transaction Per Second）超过设定的范围后，即可触发报警。
失败频率超过配置	当任务运行过程中的失败频率超过设定的频率后，即可触发报警。
数据滞留超过配置	当任务运行过程中的数据滞留超过设定的时间后，即可触发报警。
checkpoint失败配置	当任务运行过程中的checkpoint连续失败超过设定的次数后，即可触发报警。

2、第二步 作业评估标准构建

针对作业健康值，作业风险等级的评估指标，提示用户风险，帮助用户优化作业逻辑、作业资源配置，检查运行环境稳定性。

可参考阿里“实时计算FLink”能力

示例：

3、第三步 智能诊断

可以针对收集的指标信息，对于失败的任务进行智能诊断，判断任务运行失败原因，提升问题排查速度，提升运维效率

参考“ 基于 Monitoring REST PI 的 Flink轻量级诊断”中作业诊断章节

 

4、第四步 智能运维

针对资源，任务分配等场景，智能运维，提升作业运行效率和资源利用率等场景

此项要结合任务调度、资源调度（容器化）才可实现

附录

1、Grafana

 

Grafana allows you to query, visualize, alert on and understand your metrics no matter where they are stored. Create, explore, and share beautiful dashboards with your team and foster a data driven culture。

Grafana允许您查询、可视化、告警和了解您的指标，无论它们存储在何处。创建、探索并与您的团队共享漂亮的仪表板，培养数据驱动的文化。

Grafana: The open observability platform | Grafana Labs

2、Prometheus

Prometheus官网上的自述是：“From metrics to insight.Power your metrics and alerting with a leading open-source monitoring solution.”翻译过来就是：从指标到洞察力，Prometheus通过领先的开源监控解决方案为用户的指标和告警提供强大的支持。

https://prometheus.io/docs/introduction/overview/