PushGateway+Prometheus+Grafana构建Flink实时监控

租房请下载：房东直租APP

已于 2022-07-29 15:27:11 修改

阅读量888

点赞数

分类专栏： flink 文章标签： flink 大数据 pushgateway prometheus grafana

于 2022-07-21 17:43:09 首次发布

本文链接：https://blog.csdn.net/AinUser/article/details/125913840

版权

本文介绍了如何利用PushGateway整合Prometheus和Grafana，构建一套针对Flink实时作业的监控解决方案。通过PushGateway收集Flink指标，Prometheus进行数据抓取和存储，Grafana展示直观的监控面板，实现对Flink作业的实时性能监控和故障预警。

摘要由CSDN通过智能技术生成

# 组件简介

flink APP和linux system两部分，是我们要收集指标数据的组件

Pushgateway：是一个推送收集和推送数据的组件

Node_exporter：数据导出组件

Prometheus：系统监控和预警框架

Grafana：可视化展示平台

# 环境搭建
注意，如果浏览器访问不到，iptables -I INPUT -p tcp --dport 9090 -j ACCEPT


1.0. flink
下载安装包 https://archive.apache.org/dist/flink/flink-1.13.1/


1.1. 将 flink-metrics-prometheus_2.11-1.13.1.jar 到lib目录
下载安装包 https://repo1.maven.org/maven2/org/apache/flink/flink-metrics-prometheus_2.11/1.13.1/flink-metrics-prometheus_2.11-1.13.1.jar


1.2. 修改conf/flink-conf.yaml
metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: 192.168.198.198
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: metricsJob
metrics.reporter.promgateway.randomJobNameSuffix: tru