flink 自定义kudu connector中使用Metrics计数平均吞吐量,并推送到自定义kafkaReporter

前言

   Flink exposes a metric system that allows gathering and exposing metrics to external systems

1. Registering metrics

  继承RichFunction,调用getRuntimeContext().getMetricGroup()


2. Metrics 的类型

2.1 counter

  计数器,累加或者累减

2.2 Gauge

  提供各种类型的值

2.3 Histogram

  表示度量值的统计结果,如平均值、最大值

2.4 meter

  表示平均吞吐量,单位时间内事件次数


3. 指标划分

3.1 指标所属的范围

在这里插入图片描述

3.2 默认所属

在这里插入图片描述


4. 自定义kudu connector中使用Metrics

4.1 sink算子继承RichFunction

在这里插入图片描述

4.2 注册指标

在这里插入图片描述

4.3 计数逻辑

  
ps:kudu写入实际指标包含2个,一个是每分钟流量,在try代码块中,一个是每分钟错误数量,在catch代码块中


4.4 自定义Reporter,推送metric到kafka

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
flink-conf.yaml配置注册的类和参数

4.5 结果展示

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值