flink+prometheus reporter中自定义metrics的scopename中去掉metricgroup的key，只显示metric名

最新推荐文章于 2024-01-28 19:54:19 发布
最新推荐文章于 2024-01-28 19:54:19 发布
阅读量310 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/115801535
版权
本文讲述了如何在Flink与Prometheus集成时，根据业务需求自定义metrics，并去掉metricgroup，使得metrics名称仅显示为metric名。在初始尝试未满足需求后，通过修改`flink-metrics-prometheus_2.11-1.11.jar`源码中的`AbstractPrometheusReporter#notifyOfAddedMetric`方法来实现这一目标。
摘要由CSDN通过智能技术生成

最近遇到一个需求，就是业务方需要自定义metric，并且metric中不能有metricgroup。比如：flink_taskmanager_job_task_operater_numCount{groupName=“1”,appName=47.387434398493,…}。
刚开始，本人理解错了，以为就是简单的增加自定义metric，我就想，flink本身就支持啊，就将如下代码发了过去：

    override def map(value: SensorReading): SensorReading = {
   
      getRuntimeContext.getMetricGroup
        .
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
45、Flink 的指标体系介绍及验证（2）-指标的scope、报告、系统指标以及追踪、api集成示例和dashboard集成
alanchanchn的专栏
11-29 3万+
启用跟踪keyed state访问延迟后，Flink将对每N次访问的状态访问延迟进行采样，其中N由state.backend.latency-track.sample-interval定义。由于此延迟度量的类型为直方图，state.backend.latency-track.history-size将控制历史记录值的最大数量，默认值为128。此配置的较大值将需要更多的内存，但将提供更准确的结果。例如，如果A.B是系统作用域，C.D是用户作用域，E是名称，那么度量的标识符将是A.B.C.D.E。
flink metrics
weixin_34190136的博客
08-18 381
https://stackoverflow.com/questions/50972168/flink-latency-metrics-not-being-shown/50982071#50982071 https://stackoverflow.com/questions/45211970/how-to-get-the-latency-number-of-flink-job https://w...
Flink部署——Metric Reporters
京河小蚁的博客
06-27 2788
通过在 conf/flink-conf.yaml 中配置一个或多个报告器，可以向外部系统公开指标。这些报告器将在启动时在每个作业和任务管理器上实例化。所有报告者必须至少具有类或工厂.class属性。可以/应该使用哪个属性取决于报告器实现。有关详细信息，请参阅各个报告器配置部分。某些报告器（称为“计划”）允许指定报告间隔。下面将列出特定于每个报告器的更多设置。指定多个报告器的示例报告器配置 要点:当Flink启动时，包含reporter程序的jar必须是可访问的。支持factory.class属性的记者可以作
flink自定义指标发送到pushgateway写入prometheus
qq_40498209的博客
12-22 2286
flink官方提供了写metrics的方式，但是相对来说有些不灵活，不符合我当前的要求，也没法自定义动态的label值，于是自定义了sink写入到pushgateway里。 代码如下： class MyPushGateWaySink(pushgatewayipport:String) extends RichSinkFunction[(String,String,String)] { var pushgateway:PushGateway = _ var gauge:Gauge = G
flink自定义metric中只显示metric不显示metricgroup.docx
04-17
更理想的方法是寻找一种非侵入式的解决方案，例如，通过自定义Flink的Reporter或后处理Prometheus抓取的数据。但根据给出的情况，这种直接修改源码的方法可能是最直接且快速的解决方案。 总的来说，Flink的Metric ...
【Flink 监控系列】Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka
JasonLee实时计算
08-04 2097
直接在 Flink Web UI 上面查看。通过 Flink 提供的 Metric Reporters 上报到外部系统，最终在 Grafana 上面展示。通过 Flink Rest API 接口查看。这三种方式各自有各自的使用场景，你可能会问，Flink 都已经提供了这么多种查看方式，那我们为什么还要自定义 kafka metrics reporter 呢？......
Flink+Prometheus+Grafana指标监控搭建
张小小凡
11-16 1487
flink配置 看这篇文章的人肯定是有安装flink的，安装步骤不写了。flink版本：1.10.0 1. 在maven仓库中下载flink对应版本的flink-metrics-prometheus的jar包，放到flink的lib目录下 https://mvnrepository.com/artifact/org.apache.flink/flink-metrics-prometheus 2. 修改flink-conf.yaml metrics.reporter.promgateway.clas
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库（2022新课，基于flink1.14）
12-27
《基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库》——本课程为大数据实时数仓项目实战课程，以大数据实时数仓项目为主线，理论和实战相结合，全方位、全流程、无死角讲解数仓项目的数仓基础、项目规划、...
Flink 监控
bluedraam_pp的博客
06-19 3597
基本的需求 监控 job 的内存、网络、CPU 的使用情况 监控 job 的状态，running or dead 监控 job exception 总之，我的目的是不能让 job 因内存、网络、cpu 不足造成的程序崩溃 metric 的类型 了解什么是 Metric 看看下面这个 blog , 应该会有一个大概的了解： http://wuchong.me/blog/2015/08/01/ge...
【Flink】Flink运行指标接入Prometheus+Granfana
m0_66705151的博客
06-07 2746
手把手教你导出flink运行指标，完成prometheus+grafana监控集成。
Prometheus 和 Flink 集成
weixin_45417821的博客
03-25 3293
文章目录拷贝 jar 包修改 Flink 配置在idea中 添加如下 pom.xml 依赖 和 程序为了运行测试程序，启动 netcat启动 hdfs、yarn，提交 flink 任务到 yarn 上可以通过 8088 跳到 flinkUI 的 job 页面，查看指标统计刷新 Prometheus 页面，如果有 flink 指标，集成成功 Flink 官方支持 Prometheus，并且提供了对接Prometheus 的 jar 包，很方便就可以集成。 拷贝 jar 包 将 flink-metrics-pr
八种Flink任务监控告警方式
最新发布
weixin_42049123的博客
01-28 4037
Flink任务告警方式的选择，要从任务的使用情况和期盼来考量；简单的使用，且任务少，可以用监控目标数据库的数据写入情况、per-job和application运行任务探活、Sesion运行方式通过RestApi来告警；特定场景的业务可以靠监控存储中间偏移量来告警；通用大规模应用场景可以通过采集运行时日志、使用调度平台，使用调度平台、引入开源SDK方式、自定义SDK写入通用系统通用系统里方式选择。
使用Prometheus监控Flink
qq_40907977的博客
07-30 2160
为什么选择Prometheus？ 随着深入地了解Prometheus，你会发现一些非常好的功能： •服务发现使配置更加容易。Prometheus支持consul，etcd，kubernetes以及各家公有云厂商自动发现。对于监控目标动态发现，这点特别契合Cloud时代，应用动态扩缩的特点。我们无法想象，在Cloud时代，需要运维不断更改配置。 •开源社区建立了数百个exporter。基本上涵盖了所有基础设施和主流中间件。 •工具库可从您的应用程序获取自定义指标。基本上主流开发语言都有对应的工具库。 •它是.
Flink 和 Prometheus：流式应用程序的云原生监控
Hadoop技术博文
08-06 1849
翻译：陆离校对：杨乾坤（欧文）本文描述了程序开发人员如何使用 Apache Flink 内置的 Metrics 系统和Prometheus结合的方式,有效的观测和监控流式...
从 0 到 1 搭建一套 Flink 的监控系统
http://www.54tianzhisheng.cn/
06-18 4885
点击上方“zhisheng”，选择“设为星标”后台回复"666"，获取新资料之前讲解了 JobManager、TaskManager 和 Flink Job 的监控，以及...
Prometheus系统监控-部署笔记
宋大王的博客
08-18 2499
Prometheus系统监控-部署笔记 Prometheus prometheus可以实现服务器监控 下载 https://prometheus.io/download/ 解压 tar xvfz prometheus-*.tar.gz 下载exporter exporter相当于插件，比如要监控java相关的服务需要jmx-exporter jmx-exporter https://githu...
Flink自定义metric监控流入量
张普的专栏
11-02 4592
点击蓝字关注~~flink任务本身提供了各种类型的指标监控，细化到了每一个Operator的流入/流出量、速率、Watermark值等，通常在实际应用中需要对接入数据做格...
flink+mysql+connector_Flink SQL中connector的定义和实现
05-25
在 Flink 中，Connector 是指用于与外部系统进行数据交互的组件。Connector 可以与各种外部系统进行交互，例如数据库、消息队列、文件系统等。Connector 的实现通常包括两个部分：Source 和 Sink。 在 Flink SQL 中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值