聊一聊Flink的监控和预警

最新推荐文章于 2023-06-10 09:34:01 发布

三年之期已到

最新推荐文章于 2023-06-10 09:34:01 发布

阅读量2.2k

点赞数 1

分类专栏： Flink 文章标签： flink

本文链接：https://blog.csdn.net/xiaokan0230/article/details/115342344

版权

本文详细介绍了在Flink项目中如何进行监控和预警，包括利用Flink WebUI观察性能，Kafka消费监控，YARN监控，以及如何设置报警策略。通过监控WebUI、Kafka Lag和YARN状态，结合业务需求设定合理的预警阈值，确保Flink任务的稳定运行。

摘要由CSDN通过智能技术生成

在实际的Flink 项目中，如何观察Flink的性能，如何监控Flink的运行状态，如何设置报警策略？下面简单讲下我的经验吧。

一、Flink webUI

首先聊下Flink webUI。如下图所示:

如果是本地调试模式，默认是不开启webui的。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

上面的初始化方式，本地调试默认不开启webui。

StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());

需要使用上面这种方式才能在本地调试的时候打开webui。当然了，也需要在pom文件中添加依赖

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

如果你是on yarn 模式，则必须使用第一种初始化方式，on yarn 默认可以查看webui。

下面是一个读取kafka数据，通过Flink 处理后，再写入目标kafka的任务。

如上图所示，点击sink，在metrics中选择Sink__sink.numRecordsInPerSecond。这里有几个

最低0.47元/天解锁文章