flink中值得监控的几个指标

背景

为了维持flink的正常运行，对flink的日常监控就变得很重要，本文我们就来看一下flink中要监控的几个重要的指标

重要的监控指标

1.算子的处理速度的指标：numRecordsInPerSecond/numRecordsOutPerSecond,这有助于你了解到算子的是否正在合理运行
2.应用的监控度： uptime表示应用已经持续运行的时间，numRestarts表示job被重启的次数，重启的原因很多种，比如内存占用过多被killed等
3.检查点健康度： numberOfCompletedCheckpoints表示已经完成的检查点数目, numberOfFailedCheckpoints表示未能完成的检查点数目(比如因为状态太多导致超时等未能完成checkpoint操作),
numberOfInProgressCheckpoints表示正在进行中的检查点数目,lastCheckpointDuration表示检查点的持续时间，过长的时间会导致checkpoint失败，
lastCheckpointFullSize表示检查点的大小，这可以帮你检查应用状态大小是否正常
4.基于事件时间的应用的处理延迟：可以对比eventtime和当前时间的延迟，这可以知道是否发生了数据倾斜等问题，导致watermark一直未能前进
5.jvm和容器指标：Jvm使用的内存/cpu大小，容器使用的内存大小(包括jvm+其他组件)