如何搭建一套完整的 Flink 监控系统?

最新推荐文章于 2024-08-23 10:13:09 发布

zhisheng_blog

最新推荐文章于 2024-08-23 10:13:09 发布

阅读量1.3k

点赞数

分类专栏：大数据实时计算引擎 Flink 实战与性能优化

本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108728669

版权

大数据实时计算引擎 Flink 实战与性能优化专栏收录该内容

73 篇文章 29 订阅 ¥99.00 ¥99.00

订阅专栏

本文详细介绍了如何搭建一套完整的Flink监控系统，包括利用API获取监控数据、各种Metrics类型以及利用JMXReporter、PrometheusReporter等上报监控数据。还讲述了安装InfluxDB和Grafana来存储和展示监控数据，最后展示了配置Grafana图表的过程，提供了一个完整的Flink监控解决方案。

摘要由CSDN通过智能技术生成

8.1 节中讲解了 Job Manager、Task Manager 和 Flink Job 的监控，以及需要关注的监控指标有哪些。本节带大家讲解一下如何搭建一套完整的 Flink 监控系统，如果你所在的公司没有专门的监控平台，那么可以根据本节的内容来为公司搭建一套属于自己公司的 Flink 监控系统。

利用 API 获取监控数据

熟悉 Flink 的朋友都知道 Flink 的 UI 上面已经详细地展示了很多监控指标的数据，并且这些指标还是比较重要的，所以如果不想搭建额外的监控系统，那么直接利用 Flink 自身的 UI 就可以获取到很多重要的监控信息。这里要讲的是这些监控信息其实也是通过 Flink 自身的 Rest API 来获取数据的，所以其实要搭建一个粗糙的监控平台，也是可以直接利用现有的接口定时去获取数据，然后将这些指标的数据存储在某种时序数据库中，最后用些可视化图表做个展示，这样一个完整的监控系统就做出来了。

这里通过 Chrome 浏览器的控制台来查看一下有哪些 REST API 是用来提供监控数据的。

1.在Chrome 浏览器中打开 http://localhost:8081/overview 页面，可以获取到整个 Flink 集群的资源信息：TaskManager 个数（Task Managers）、Slot 总个数（Total Task Slots）、可用 Slot 个数（Available Task Sl

了解本专栏