Flink Metrics简介
Flink Metrics是Flink集群运行中的各项指标,包含机器系统指标,比如:CPU、内存、线程、JVM、网络、IO、GC以及任务运行组件(JM、TM、slot、作业、算子)等相关指标。
Flink Metrics包含两大作用:
(1)实时采集监控数据。在Flink的UI界面上,用户可以看到自己提交的任务状态、时延、监控信息等等
(2)对外提供数据手机接口。用户可以将整个Flink集群的监控数据主动上报至第三方监控系统,如:prometheus、Grafana等
一、Flink Metrics Types
Flink一共提供了四种监控指标,分别为:Counter、Gauge、Histogram、Meter。

1.Count计数器
统计一个指标的总量。写过MapReduce的开发人员就应该很熟悉Counter,其实含义都是一样的,就是对一个计数器进行累加,即对于多条数据和多兆数据一直往上加的过程。其中Flink算子的接收记录总数(numRecordsIn)和发送记录总数(numRecordsOut)属于Counter类型。
使用方式:可以通过调用counter(String name)来创建和注册MetricGroup

FlinkMetrics提供了实时采集和监控Flink集群状态的能力,包括CPU、内存等系统指标和任务运行组件的数据。它包含Counter、Gauge、Histogram和Meter四种监控指标,用于统计总量、瞬时值、平均值和数据分布。FlinkMetrics的scope定义了指标的命名空间,而metrics可通过配置reporters主动上报给Prometheus、Grafana等第三方系统,或者通过RestAPI被动接收查询请求。
最低0.47元/天 解锁文章
1970

被折叠的 条评论
为什么被折叠?



