聊一聊Flink的监控和预警

在实际的Flink 项目中，如何观察Flink的性能，如何监控Flink的运行状态，如何设置报警策略？下面简单讲下我的经验吧。

一、Flink webUI

首先聊下Flink webUI。如下图所示:

如果是本地调试模式，默认是不开启webui的。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

上面的初始化方式，本地调试默认不开启webui。

StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());

需要使用上面这种方式才能在本地调试的时候打开webui。当然了，也需要在pom文件中添加依赖

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

如果你是on yarn 模式，则必须使用第一种初始化方式，on yarn 默认可以查看webui。

下面是一个读取kafka数据，通过Flink 处理后，再写入目标kafka的任务。

 

如上图所示，点击sink，在metrics中选择Sink__sink.numRecordsInPerSecond。这里有几个