flink 自定义kudu connector中使用Metrics计数平均吞吐量，并推送到自定义kafkaReporter

已于 2024-10-29 17:15:53 修改
阅读量770 收藏 5
点赞数 3
文章标签： flink 大数据
于 2024-10-29 17:07:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javahelpyou/article/details/143334327
版权

文章目录

前言

   Flink exposes a metric system that allows gathering and exposing metrics to external systems

1. Registering metrics

  继承RichFunction，调用getRuntimeContext().getMetricGroup()

2. Metrics 的类型

2.1 counter

  计数器，累加或者累减

2.2 Gauge

  提供各种类型的值

2.3 Histogram

  表示度量值的统计结果，如平均值、最大值

2.4 meter

  表示平均吞吐量，单位时间内事件次数

3. 指标划分

3.1 指标所属的范围

在这里插入图片描述

3.2 默认所属

在这里插入图片描述

4. 自定义kudu connector中使用Metrics

4.1 sink算子继承RichFunction

在这里插入图片描述

4.2 注册指标

在这里插入图片描述

4.3 计数逻辑

  
ps：kudu写入实际指标包含2个，一个是每分钟流量，在try代码块中，一个是每分钟错误数量，在catch代码块中

4.4 自定义Reporter，推送metric到kafka

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
flink-conf.yaml配置注册的类和参数

4.5 结果展示

在这里插入图片描述

【Flink 监控系列】Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka
JasonLee实时计算
08-04 2638
直接在 Flink Web UI 上面查看。通过 Flink 提供的 Metric Reporters 上报到外部系统，最终在 Grafana 上面展示。通过 Flink Rest API 接口查看。这三种方式各自有各自的使用场景，你可能会问，Flink 都已经提供了这么多种查看方式，那我们为什么还要自定义 kafka metrics reporter 呢？......
Flink实战（七十二）：监控（四）自定义metrics相关指标（二）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1454
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 项目实现代码举例： 添加自定义监控指标，以flink1.5的Kafka读取以及写入为例，添加rps、dirtyData等相关指标信息。�kafka读取和写入重点是先拿到RuntimeContex初始化指标，并传递给要使用的序列类，通过重写序列化和反序列化方法，来更新指标信息。 不加指标的kafka数据读取、写入Demo。 public class FlinkEtlTest {
Flink中如何实现一个自定义MetricReporter
weixin_40278610的博客
11-20 1998
什么是 Metrics 在 flink 任务运行的过程中，用户通常想知道任务运行的一些基本指标，比如吞吐量、内存和 cpu 使用情况、checkpoint 稳定性等等。而通过 flink metrics 这些指标都可以轻而易举地获取到，避免任务的运行处于黑盒状态，通过分析这些指标，可以更好的调整任务的资源、定位遇到的问题、对任务进行监控。接下来本文将介绍 flink metrics 的一些基本概念与原理以及实践。 Flink 对于指标监测有一套自己的实现，同时 flink 自身系统有一些固定的 metric
flink+prometheus reporter中自定义metrics的scopename中去掉metricgroup的key，只显示metric名
打工日常
04-18 560
最近遇到一个需求，就是业务方需要自定义metric，并且metric中不能有metricgroup。比如：flink_taskmanager_job_task_operater_numCount{groupName=“1”,appName=47.387434398493,…}。 刚开始，本人理解错了，以为就是简单的增加自定义metric，我就想，flink本身就支持啊，就将如下代码发了过去： override def map(value: SensorReading): SensorReading
flink-connector-kudu:基于Apache-bahir-kudu-connector的flink-connector-kudu，支持Flink1.11.x DynamicTableSourceSink，支持范围分区等
03-04
Kudu连接器 基于Apache-Bahir-Kudu连接器改造而来的满足公司内部使用的Kudu连接器，支持特性范围分区，定义哈希分桶数，支持Flink1.11.x动态数据源等，改造后已贡献部分功能给社区。 使用姿势 clone代码后，改造pom项目坐标后上传公司私服使用 Kudu目录使用 创建目录 StreamExecutionEnvironment env = StreamExecutionEnvironment . getExecutionEnvironment(); catalog = new KuduCatalog ( " cdh01:7051,cdh02:7051,cdh03:7051 " ); tableEnv = KuduTableTestUtils . createTableEnvWithBlinkPlannerStreamingMode(env); tableEnv .
Flink Sql 读写操作 Kudu 使用bahir 编译 Flink Kudu Connector
wrj_java的博客
06-21 1848
编译 Flink Kudu Connector 以支持使用 flink sql 操作读写KUDU
Flink中如何实现自定义的Metric？
qq_33240556的博客
10-29 523
Flink支持多种不同的metrics reporter（例如Graphite、JMX、Datadog等），你需要根据你的需求选择一个合适的reporter，并确保它已经被正确配置。，你就可以在这个组下创建不同的度量了。Flink提供了几种不同类型的度量，包括计数器（Counter）、分布直方图（Histogram）、摘要统计（Summary）、 gauge等。通常由Flink的组件（如TaskManager、JobManager）自动创建，但是你也可以手动创建一个子组来组织你的自定义度量。
flink1.14.0 kudu1.10.0 connector
12-07
按照我自己的环境将flink升级到1.14.0也就是目前最新的版本，kudu降到1.10.0。 由于flink api的改动，所以修改了一丢丢源码，同时最后编译打包时跳过了deprecation警告，得到目前的包。 【环境：cdh6.3.2（kudu...
flink写入带kerberos认证的kudu connector
03-24
本文将详细介绍如何在Flink中配置和使用带Kerberos认证的Kudu Connector。 ### 1. Kerberos认证简介 Kerberos 是一种网络认证协议，它提供基于票证的验证服务，确保用户和服务之间的通信是安全的。在Hadoop生态...
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
Flink自定义metric监控流入量
张普的专栏
11-02 4689
点击蓝字关注~~flink任务本身提供了各种类型的指标监控，细化到了每一个Operator的流入/流出量、速率、Watermark值等，通常在实际应用中需要对接入数据做格...
【Flink metric（1）】Flink指标系统的系统性知识：获取metric以及注册自己的metric
hiliang521的博客
06-23 2061
【Flink metric】Flink指标系统的系统性知识：以便我们实现特性化数据的指标监控与分析
八种Flink任务监控告警方式
weixin_42049123的博客
01-28 5955
Flink任务告警方式的选择，要从任务的使用情况和期盼来考量；简单的使用，且任务少，可以用监控目标数据库的数据写入情况、per-job和application运行任务探活、Sesion运行方式通过RestApi来告警；特定场景的业务可以靠监控存储中间偏移量来告警；通用大规模应用场景可以通过采集运行时日志、使用调度平台，使用调度平台、引入开源SDK方式、自定义SDK写入通用系统通用系统里方式选择。
Flink监控：自定义消费延迟Metrics
welcome to daijiguo's blog
08-07 3900
文章目录1. 需求2. 名词解释2.1 committed-offsets2.2 current-offsets2.3 highWatermark3. 自定义Metrics3.1 flink kafka source connector源码分析3.1.2 周期提交3.1.3 Checkpoint时提交3.2 定义HighWatermark Metrics3.2.1 自定义flink kafka consumer3.2.2 自定义序列化器3.2.1 自定义HighWatermark Metrics 1. 需求
flink实战--metrics监控与rest api
热门推荐
阿华田的博客
05-24 1万+
Flink metrics简介 Flink的metrics是Flink公开的一个度量系统，允许收集flink程序的公开指标到外部系统，我们也可以自定义指标通过metric收集，实际开发时经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过metric......
Flink部署——Metric Reporters
京河小蚁的博客
06-27 3470
通过在 conf/flink-conf.yaml 中配置一个或多个报告器，可以向外部系统公开指标。这些报告器将在启动时在每个作业和任务管理器上实例化。所有报告者必须至少具有类或工厂.class属性。可以/应该使用哪个属性取决于报告器实现。有关详细信息，请参阅各个报告器配置部分。某些报告器（称为“计划”）允许指定报告间隔。下面将列出特定于每个报告器的更多设置。指定多个报告器的示例报告器配置 要点:当Flink启动时，包含reporter程序的jar必须是可访问的。支持factory.class属性的记者可以作
Flink 监控与运维
u010160949的博客
05-10 627
Flink 监控与运维1.metric1.2MetricGroup1.3 自定义 Counter1.4 自定义 Counter1.4 自定义 Gauge1.5 JMXReporter 应用2.Flink RestAPI 介绍与使用3.Checkpoint 的监控与优化3.1checkpoint 指标4.反压监控与原理5.Flink内存配置与调优 1.metric <identifier, measurement> 标识符-度量值 Metric 类型： Counter 计数器 Gauge 最简单的
Flink 配置4：Flink Metric 配置
北_鱼的博客
11-19 1381
使用 prometheus、pushgateway、grafana 配置 Flink metric，用以监控 Flink 运行时性能。
Navicat premium 16
最新发布
03-11
### Navicat Premium 16 下载、安装指南及使用教程 #### 下载 对于希望获取并安装 Navicat Premium 16 的用户而言，访问官方网站是一个可靠的选择。前往 Navicat 官方网站，可以选择适合的操作系统版本（Windows、macOS 或 Linux）。如果遇到官方下载速度过慢的情况，可以考虑寻找其他可信渠道提供的镜像站点或者网盘资源来加速下载过程[^3]。 #### 安装指南 一旦下载完成对应的安装文件之后，双击该文件启动安装向导。遵循屏幕上的指示逐步操作即可顺利完成软件部署工作。通常情况下，在此过程中会询问目标路径以及是否创建桌面快捷方式等问题，请根据个人需求作出相应选择。值得注意的是，虽然这里提到的是针对特定年份版本的具体流程描述，但对于大多数常规版本来说，其基本步骤大同小异[^2]。 #### 使用教程 Navicat Premium 提供了一个直观易用的图形界面用于管理和查询多种类型的数据库。初次打开应用程序后，可以通过新建连接的方式快速接入本地或远程服务器中的 MySQL/MariaDB/Oracle/PostgreSQL 等实例；利用内置的数据同步工具实现结构化数据迁移任务；借助 SQL 编辑窗口编写复杂语句执行批量处理作业；运用可视化建模组件辅助设计复杂的表关系图谱等等[^4]。 #### 新特性概述 尽管具体到每一个单独发行版可能都会带来些许差异化的改进措施，但从整体上看，Navicat Premium 不断致力于优化性能表现、增强安全性保障机制、简化日常运维操作等方面的工作。例如引入更高效的索引策略支持大规模数据分析场景下的高效检索能力；强化身份验证环节防止未授权访问行为的发生；提供更加灵活的任务调度选项满足多样化业务逻辑的需求等[^1]。 ```python # Python 示例代码展示如何通过编程接口与 Navicat 进行交互 import pyodbc def connect_to_database(server, database, username, password): connection_string = f'DRIVER={{ODBC Driver}};SERVER={server};DATABASE={database};UID={username};PWD={password}' try: conn = pyodbc.connect(connection_string) cursor = conn.cursor() print("Connection established successfully.") return cursor except Exception as e: print(f"Failed to establish connection: {e}") return None ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值