flink之metrics开发

flink metrics 的作用

Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况,跑得慢或快,是否异常等,开发人员无法实时查看所有的 Task 日志,比如作业很大或者有很多作业的情况下,该如何处理?此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。

1.flink metric的配置

单独在flink-yaml 中增加一列。

metrics.reporters: prom
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter
metrics.reporter.prom.port: 9250-9260

参考:
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/metric_reporters/

https://www.jianshu.com/p/a91ebb9d8b74

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要配置和启用FlinkMetrics系统,可以按照以下步骤进行操作: 1. 在Flink的配置文件中,找到`flink-conf.yaml`(或`flink-conf.properties`)文件。 2. 找到以下Metrics相关的配置项,并进行相应的配置: - `metrics.reporter.<name>.class`:指定报告器的类名。例如,对于Prometheus报告器,可以配置为`org.apache.flink.metrics.prometheus.PrometheusReporter`。 - `metrics.reporter.<name>.port`:指定报告器的端口号。例如,对于Prometheus报告器,默认端口号为9090。 - `metrics.reporter.<name>.interval`:指定报告间隔时间,即多久向报告器发送一次指标数据(以毫秒为单位)。 - `metrics.reporter.<name>.scope.*`:根据需要,配置其他相关的报告器参数。 3. 在配置文件中添加或修改以上配置项,并保存文件。 4. 启动Flink集群或Flink作业时,确保配置文件被正确加载。 5. 在Flink作业中,使用Metrics API来注册和定义自定义的指标。可以使用`getRuntimeContext().getMetricGroup()`方法获取到当前作业的MetricGroup,并通过MetricGroup来创建和注册指标。 6. 根据需要,可以在作业中定期获取和处理指标数据。可以使用Metrics API来访问和获取指标数据,并进行统计、输出或展示等操作。 7. 如果使用外部监控工具(如Prometheus、Grafana等),确保报告器的配置项与监控工具的配置相匹配。 以上步骤提供了一个基本的框架来配置和启用FlinkMetrics系统。具体配置项的名称和值可能会因为Flink的版本和使用的报告器而有所不同,需根据实际情况进行调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值