Flink自定义metric监控流入量

最新推荐文章于 2024-08-23 10:13:09 发布
最新推荐文章于 2024-08-23 10:13:09 发布
阅读量4.6k 收藏 5
点赞数 1
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013516966/article/details/102927827
版权
本文介绍了如何在Flink任务中自定义监控指标，特别是针对数据源（如Kafka）的流入数据进行正常数据与脏数据的统计。通过创建自定义的`AbstractDeserializationSchema`子类并集成`Counter`类型的Metric，实现了在数据反序列化时同步进行统计。通过将`RuntimeContext`传递给自定义消费者，可以在Flink的Web UI中观察到normalDataNum和dirtyDataNum的监控指标。
摘要由CSDN通过智能技术生成

点击蓝字

640?wx_fmt=png

关注~~

flink任务本身提供了各种类型的指标监控，细化到了每一个Operator的流入/流出量、速率、Watermark值等，通常在实际应用中需要对接入数据做格式化例如转json，符合要求的数据会向下流动，不符合要求或者格式化异常称为脏数据会被过滤掉，现在目标实现一个通用化方式能够对正常数据与脏数据进行指标统计。

  1. flink metric类型分为Counter、Gauge、Histogram、Meter，需要统计的是一个累加值因此选取Counter类型的metirc

  2. 由于是对任务的流入监控，因此需要在Source端进行处理，通常对接的数据源是kafka, 而flink本身已经提供了kakfa connector，并且开放了数据反序列化的接口DeserializationSchema与抽象类AbstractDeserializationSchema，实现该接口或者继承抽象类可以完成数据的反序列化与格式化，由于每一条数据都需要进过反序列化处理，那么可以在反序列化的同时进行指标统计

  3. 在flink中自定义Metric入口是Runt

最低0.47元/天 解锁文章
pucheung
关注
专栏目录
Flink实战（七十一）：监控（三）自定义metrics相关指标（一）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 2580
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 简介 User-defined Metrics 除了系统的 Metrics 之外，Flink 支持自定义 Metrics ，即 User-defined Metrics。上文说的都是系统框架方面，对于自己的业务逻辑也可以用 Metrics 来暴露一些指标，以便进行监控。 User-defined Metrics 现在提及的都是 datastream 的 API，table、sql
【Flink 监控系列】Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka
JasonLee实时计算
08-04 2196
直接在 Flink Web UI 上面查看。通过 Flink 提供的 Metric Reporters 上报到外部系统，最终在 Grafana 上面展示。通过 Flink Rest API 接口查看。这三种方式各自有各自的使用场景，你可能会问，Flink 都已经提供了这么多种查看方式，那我们为什么还要自定义 kafka metrics reporter 呢？......
【FLink-17-Flink监控metric】
weixin_38136584的博客
01-30 909
FLink-17-Flink监控metric
Flink系列--Flink监控告警初探
最新发布
似水_逆行的博客
08-23 1116
Flink系列--Flink监控告警初探
Flink中如何实现一个自定义MetricReporter
weixin_40278610的博客
11-20 1821
什么是 Metrics 在 flink 任务运行的过程中，用户通常想知道任务运行的一些基本指标，比如吞吐量、内存和 cpu 使用情况、checkpoint 稳定性等等。而通过 flink metrics 这些指标都可以轻而易举地获取到，避免任务的运行处于黑盒状态，通过分析这些指标，可以更好的调整任务的资源、定位遇到的问题、对任务进行监控。接下来本文将介绍 flink metrics 的一些基本概念与原理以及实践。 Flink 对于指标监测有一套自己的实现，同时 flink 自身系统有一些固定的 metric
Flink监控：自定义消费延迟Metrics
foureyes
08-07 2361
文章目录1. 需求2. 名词解释 1. 需求 现有如下需求，以kafka作为source，实时统计flink任务的消费偏移量current-offset和分区偏移量总长度log-end-offset，并计算两者差着，得到消费延迟lag，如图： 2. 名词解释 current-offset： 相比current-offset，我们更熟悉commit-offset，每一次poll()， ...
60-270-040-源码-指标监测-Flink自定义metric监控流入量
九师兄
07-03 1197
1.美图 2.概述 ​ flink任务本身提供了各种类型的指标监控，细化到了每一个Operator的流入/流出量、速率、Watermark值等，通常在实际应用中需要对接入数据做格式化例如转json，符合要求的数据会向下流动，不符合要求或者格式化异常称为脏数据会被过滤掉，现在目标实现一个通用化方式能够对正常数据与脏数据进行指标统计。 实现思路： flink metric类型分为Counter、G...
自定义metric监控流入、输出量
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 486
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 flink任务本身提供了各种类型的指标监控，细化到了每一个Operator的流入/流出量、速率、Watermark值等，通常在实际应用中需要对接入数据做格式化例如转json，符合要求的数据会向下流动，不符合要求或者格式化异常称为脏数据会被过滤掉，现在目标实现一个通用化方式能够对正常数据与脏数据进行指标
监控系统的基本架构（Metric monitoring）
Fishermen_sail的博客
01-29 3029
最近准备做一个监控系统，正好看到了这篇文章，这篇文章很简单，但很清晰，结合原文的图片，我进行一下翻译。
MeterView自定义View进度条仪表盘
10-31
自定义View实现的仪表进度条，优化绘制过程，自定义属性，可应用于项目，欢迎探讨。 欢迎关注Github：https://github.com/Zjinji/MeterView
教程 | Datavines 自定义数据质量检查规则（Metric）
_朝和
06-27 493
Metric 是 Datavines 中一个核心概念，一个 Metric 表示一个数据质量检查规则，比如空值检查和表行数检查都是一个规则。Metric 采用插件化设计，用户可以根据自己的需求来实现一个 Metric。下面我们来详细讲解一下如何自定义Metric。
flink 自定义指标
join_null的博客
10-12 1588
flink指标种类 Gauge —— 最简单的度量指标，只是简单的返回一个值，比如返回一个队列中当前元素的个数； Counter —— 计数器，在一些情况下，会比Gauge高效，比如通过一个AtomicLong变量来统计一个队列的长度； Meter —— 吞吐量的度量，也就是一系列事件发生的速率，例如TPS； Histogram —— 度量值的统计结果，如最大值、最小值、平均值，以及分布情况等。...
监控工具——Metrics 快速入门
大风的博客
05-09 8914
Metrics 快速入门 关于Metrics更多的内容可以查看官网 https://metrics.dropwizard.io/3.1.0/getting-started/ 代码地址 因为每个例子涉及代码较多，且包含测试用例，如果都贴到文章中内容过多，所以只贴出了部分代码。全部的代码在这里： https://gitee.com/daifyutils/springboot-samples。 此篇文章所属模块为：base-metrics 什么是Metrics Metrics提供了一个强大的工具包，用于衡
推荐开源项目：Metric - 简单易用的性能监控工具
gitblog_00089的博客
05-24 344
推荐开源项目：Metric - 简单易用的性能监控工具 metricMinimal metrics for Go (counter/gauge/histogram). No dependencies. Compatible with expvar. Web UI included.项目地址:https://gitcode.com/gh_mirrors/me/metric 项目介绍 Metric ...
Flink之Metric监控架构剖析
jhkkhtd的专栏
06-18 592
这几天开始接触linux IP 协议栈,并试着去让理论和源码结合起来去读，渐渐发现网络理论与网络编程 不是一个数量级上的，。结合代码和理论一起学，才能对网络有更深层次的理解。
Metrics 监控方案的思考和实操（面向微服务组件）
qianshanding0708的博客
06-13 3579
背景介绍1. 现状众所周知，业界各种大中型软件系统在生产运行时，总会有一些手段来进行保驾护航。如上图所示，Metric 机制作为一个非常重要的监控手段，与日志系统，告警系统，APM 等，共同守护业务系统运行安全。没有“运行时监控机制”的软件系统都是不合格的系统，是根本没有资格上到生产环境上去的，因为掌握不了软件系统的运行状况，就像一个瞎子开着汽车上路了，是极其危险的。Metric 机制承担着收集软...
Metrics监控工具介绍与使用
wjf25ac的专栏
05-26 4271
目录 Metrics 介绍 使用 Metric Registries Gauges Counter Histograms Meters Timers 监控输出方式 Metrics 介绍 监控工具。Metrics提供了强大的工具用于监控重要组件的行为。Metrics依赖Jetty, Logback, Log4j, Apache HttpClient, Ehcache, JDBI, Jersey和Graphite，提供一个可视化程序执行情况。 Metrics可以统计TPS，方法执行次数，队列
ELK MetricBeat配置监控主机性能
weixin_34409741的博客
01-02 1820
1.MetricBeat介绍 Beats是开源数据发送者，可以将其作为代理安装在您的服务器上，以将不同类型的运营数据发送到Elasticsearch。Beats可以直接发送数据到Elasticsearch或通过Logstash发送到Elasticsearch，可以使用它来分析和转换数据。Metricbeat是一个服务器监视代理程序，它定期...
flink 自定义sink
07-28
Flink 提供了自定义 Sink 的功能，可以让用户根据自己的需求实现自己的 Sink 函数。自定义 Sink 主要涉及两个步骤：实现一个继承自 `RichSinkFunction` 的类，并重写其中的方法；在 Flink 程序中使用自定义 Sink。 以下是一个简单的示例，展示如何自定义一个 Sink 函数： 首先，创建一个类继承自 `RichSinkFunction`： ```java public class CustomSink extends RichSinkFunction<String> { @Override public void invoke(String value, Context context) throws Exception { // 自定义的逻辑处理，这里示例只打印输出 System.out.println(value); } } ``` 然后，在 Flink 程序中使用自定义 Sink： ```java public class CustomSinkExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> stream = env.fromElements("message 1", "message 2", "message 3"); // 使用自定义的 Sink stream.addSink(new CustomSink()); env.execute("Custom Sink Example"); } } ``` 在上述示例中，自定义的 Sink 函数 `CustomSink` 继承自 `RichSinkFunction`，并实现了 `invoke` 方法，其中可以编写自己的数据处理逻辑。在 Flink 程序中，通过 `addSink` 方法将数据流发送到自定义 Sink 中进行处理。 需要注意的是，自定义 Sink 函数还可以使用一些钩子方法，如 `open` 和 `close`，可以在其中进行一些初始化和清理操作。 希望这个示例能够帮助你理解如何在 Flink 中自定义 Sink 函数。如果有任何疑问，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值