(第七弹)Flink——Flink之Grafana监控

       对于Flink中taskmanager、jobmanager有没有一个好的监控工具呢?答案是有的,下面让我们来看看如何监控!!!

 

一、版本要求

Flink 1.8 + 

  

二、Flink配置

1) flink-conf.yaml

metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: localhost
metrics.reporter.influxdb.port: 8086
metrics.reporter.influxdb.db: flink_metrics
metrics.reporter.influxdb.username: aaaa
metrics.reporter.influxdb.password: 123456
  • class:这个是固定的
  • host:这个是安装 InfluxDB 的 host 地址
  • port:这个是 InfluxDB 的端⼝,默认是 8086
  • db:表示你要将 metrics 数据存口到 InfluxDB 的哪个数据库
  • username:InfluxDB 的用户名
  • password:InfluxDB 的密码

 

2)拷贝jar包


                
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Grafana 是一个流行的开源数据可视化和监控解决方案,可以用于监控 Flink 应用程序的指标和日志。以下是一个基于 GrafanaFlink 监控模板: 1. 安装 Grafana 您可以从 Grafana 的官方网站 https://grafana.com/ 下载并安装 Grafana。 2. 安装 Flink 监控插件 Grafana 支持通过插件来集成各种数据源。Flink 官方提供了一个 Prometheus Exporter 插件,可以将 Flink 应用程序的指标导出到 Prometheus,从而可以通过 Grafana 来展示和监控这些指标。您可以从 https://github.com/apache/flink/tree/master/flink-metrics/flink-metrics-prometheus 下载该插件。 3. 配置 Prometheus 在将 Flink 应用程序的指标导出到 Prometheus 之前,您需要先配置 Prometheus。您可以从 Prometheus 的官方网站 https://prometheus.io/ 下载并安装 Prometheus。 在 Prometheus 的配置文件 `prometheus.yml` 中,添加以下内容: ``` scrape_configs: - job_name: 'flink' static_configs: - targets: ['<flink-jobmanager-host>:9250'] ``` 其中 `<flink-jobmanager-host>` 为 Flink JobManager 的主机名或 IP 地址。该配置会告诉 Prometheus 在 `<flink-jobmanager-host>:9250` 地址上抓取 Flink 的指标。 4. 配置 GrafanaGrafana 中,您需要配置一个数据源来连接到 Prometheus,并配置一个仪表盘来展示 Flink 应用程序的指标。 - 配置数据源 在 Grafana 的界面上,点击左侧的「Configuration」按钮,选择「Data Sources」,然后点击「Add data source」。 在「Add data source」页面中,选择「Prometheus」作为数据源类型,并填写以下信息: - Name: 数据源的名称,任意填写。 - URL: Prometheus 的地址,格式为 `http://<prometheus-host>:<prometheus-port>`。 - Access: 选择「Browser」。 点击「Save & Test」按钮,测试连接是否成功。 - 配置仪表盘 在 Grafana 的界面上,点击左侧的「+」按钮,选择「Import」。 在「Import」页面中,填写以下信息: - Grafana.com Dashboard: 输入 `8588`。 - Name: 仪表盘的名称,任意填写。 - Prometheus: 选择刚才配置的 Prometheus 数据源。 点击「Load」按钮,加载仪表盘模板。 5. 查看监控指标 在 Grafana 中,您可以查看 Flink 应用程序的各种指标,例如: - Task Manager 的状态和指标,如 Task Slots 的使用情况、内存使用情况等。 - Job 的状态和指标,如 Job 的执行时间、状态转换、吞吐量等。 - 系统的指标,如 JVM 的内存使用情况、CPU 使用情况等。 您可以根据自己的需求,定制化展示和监控这些指标。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值