flink实战--metrics监控与rest api

置顶 已于 2023-04-28 17:07:57 修改
阅读量1.5w 收藏 20
点赞数 8
分类专栏： Flink学习必读系列 文章标签： flink任务监控 flink的metric监控 metric flink REST API
于 2019-05-24 17:39:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/88952910
版权
本文详细介绍了Flink的metrics系统，包括metrics在UI界面的应用，自定义监控指标的方法，以及Flink REST API的使用，用于实时获取任务状态和监控数据。通过监控指标和API，可以实现对Flink任务的高效运维和问题排查。
摘要由CSDN通过智能技术生成

Flink metrics简介

              Flink的metrics是Flink公开的一个度量系统，metrics也可以暴露给外部系统，通过在flink配置文件conf/flink-conf.yaml配置即可，flink原生已经支持了很多reporter，如JMX、InfluxDB、Prometheus等等。我们也可以自定义指标通过metric收集，实际开发时经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过metric监控flink程序，自定义监控指标以及metrics在flink的UI界面的应用。

Metrics在UI页面上的应用

          在flink的UI的界面上我们点击任务详情，然后点击Task Metrics会弹出如下的界面，在 add metic按钮上 我们可以添加我需要的监控指标。

注意：如果点击Task Metrics没有显示Add metics 点击一下任务的DAG图就会显示出来，当我们点击了DAG图中某个算子的名字，那么Add 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink任务实时监控与大数据
CodeHeroicX的博客
08-13 739
通过对任务运行状态、数据输入输出、中间结果和错误日志的监控，我们可以及时发现问题、优化性能，并保证任务的稳定运行。当然，这只是一个简单的示例，实际应用中还可以根据需求进行更加复杂的监控和处理。本文将介绍如何使用Flink实现任务的实时监控，并展示相关的源代码。下面是一个简单的示例代码，用于演示如何使用Flink的API实现任务监控功能。通过学习和使用Flink进行任务实时监控，可以加深对流处理框架的理解，并提高大数据应用的效率和可靠性。基于上述需求分析，我们可以设计一个简单而实用的Flink任务监控方案。
Flink（二十七）—— Flink Metrics 原理与监控实战
weixin_42073629的博客
10-17 1227
什么是 Metrics？ Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该
【运维监控】Prometheus+grafana监控flink运行情况
最新发布
alanchanchn的专栏
09-11 6929
通过flink自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化
【Flink】通过REST API监控正在运行的作业状态和统计信息
qq_43744420的博客
08-10 2036
通过REST API监控正在运行的作业状态和统计信息
FlinkRestAPI
m0_57320261的博客
01-08 869
如果输出结果为空，则说明 Flink 客户端没有安装在系统路径中。在这种情况下，您可以通过设置。which flink 找到Flink客户端地址。环境变量来指定 Flink 客户端的路径。
flink-metrics-core-1.14.3-API文档-中文版.zip
06-06
赠送jar包：flink-metrics-core-1.14.3.jar； 赠送原API文档：flink-metrics-core-1.14.3-javadoc.jar； 赠送源代码：flink-metrics-core-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-metrics-core-1.14.3.pom； 包含翻译后的API文档：flink-metrics-core-1.14.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-metrics-core:1.14.3； 标签：apache、flink、metrics、core、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
flink metrics
weixin_34190136的博客
08-18 404
https://stackoverflow.com/questions/50972168/flink-latency-metrics-not-being-shown/50982071#50982071 https://stackoverflow.com/questions/45211970/how-to-get-the-latency-number-of-flink-job https://w...
Flink常用监控API
白夜的随笔
12-02 4435
通常，我们可以通过Flink WebUI来查看和监控Flink任务的运行状态，如图 但如果我们要基于Flink自建一个实时计算平台，则不能依赖于Flink WebUI，而需要自己实现Flink任务状态的查看和监控了。 实际上，Flink有一套自己的监控REST API，Flink WebUI也是基于这套监控API实现的，我们可以调用官方提供的监控API，来实现我们自己想要的参数查看和状态监控功能。 下面的表格列举了常用的Flink监控REST API： 请求方法 接口 功能 参数 GET
Flink Metrics&REST API 介绍和原理解析
cloudbigdata的博客
05-06 2067
通过学习 Flink Metrics 和 REST 接口，了解 Flink 是如何完成监控的。
flink实战 -- flink on yarn 任务日志收集与监控
阿华田的博客
09-02 3786
背景 在 Flink on yarn 的模式下,taskManager的日志会存储到所在的DataNode上,当 Flink 任务发生异常，产生异常日志时，需要我们第一时间感知任务已经出现异常，避免影响业务。因此我们需要将Flink任务的日志实时收集起来，出现异常日志立刻报警，做的真正意义上的实时报警，而不是等flink任务掉线了在发出报警。收集到了任务日志，即使任务掉线了也方便我们通过日志定位问题。 日志收集方案 在 Flink 1.1...
flink实战--HistoryServer配置与应用
阿华田的博客
10-15 1793
背景 回想一下，在实际线上开发flink任务时是否存在这样需求，flink实时任务夜间掉线了，此时我们再去查看yarn的页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics监控，那么很遗憾这些信息就丢失了，对我们分析任务出现的bug很不友好，此时flink的HistoryServer出现了，本文将详细介绍HistoryServer的配置与使用。 HistoryServer flink任务停止后，JobMan...
Flink详解 Metrics 原理与实践
hhhhhhfq的博客
04-12 2404
什么是 Metrics ? Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实行查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该很
Flink 监控与运维
u010160949的博客
05-10 563
Flink 监控与运维1.metric1.2MetricGroup1.3 自定义 Counter1.4 自定义 Counter1.4 自定义 Gauge1.5 JMXReporter 应用2.Flink RestAPI 介绍与使用3.Checkpoint 的监控与优化3.1checkpoint 指标4.反压监控与原理5.Flink内存配置与调优 1.metric <identifier, measurement> 标识符-度量值 Metric 类型： Counter 计数器 Gauge 最简单的
一口气搞懂「Flink Metrics」监控指标和性能优化，全靠这33张图和7千字（建议收藏）
逆流而上Mr李
09-30 2344
前言 大家好，我是土哥。 最近在公司做 Flink 推理任务的性能测试，要对 job 的全链路吞吐、全链路时延、吞吐时延指标进行监控和调优，其中要使用 Flink Metrics 对指标进行监控。 接下来这篇文章，干货满满，我将带领读者全面了解 Flink Metrics 指标监控，并通过实战案例，对全链路吞吐、全链路时延、吞吐时延的指标进行性能优化，彻底掌握 Flink Metrics 性能调优的方法和 Metrics 的使用。大纲目录如下： 1 Flink Metrics 简介 Flink Metri
Flink教程（13）- Flink高级API（状态管理）
阿甘兄
03-08 2019
文章目录01 引言02 Flink中的有状态计算03 有状态和无状态计算3.1 无状态计算3.1.1 无状态计算特点3.1.2 无状态计算例子（消费延迟计算）3.2 有状态计算3.2.1 有状态计算特点3.2.2 有状态计算例子（访问量统计）3.2.3 有状态计算的场景04 状态的分类4.1 Managed State & Raw State4.2 Keyed State & Operator State4.2.1 Keyed State4.2.2 Operator State05
Flink metric 简单尝试
qq_31866793的博客
05-21 367
参考文档： https://ci.apache.org/projects/flink/flink-docs-release-1.3/monitoring/metrics.html 实际代码： package metric import java.util.Properties import com.sjb.constant.Constants import org.apache.flink.api.common.functions.RichMapFunctio...
Flink rest接口查询metric的整体链路
tjq980303的博客
06-10 758
Flink metrics 最近根据flinkUI的接口追踪了一下blink的metric信息的查询过程，在这里记录一下 入口 首先我这里的入口指的是flink UI中的/jobs/:jobid这个rest接口，具体处理逻辑是在JobDetailsHandler，JobDetailsHandler的注册以及与path的绑定可以看WebMonitorEndpoint部分，这一块不是本文的具体内容，其中查询的逻辑为JobDetailsHandler.handleRequest。 protected JobDet
【Flink Rest-ful API 】
追赶者的博客
03-31 1538
Flink 有了一些查询job状态指标的API,这些监控API is a REST-ful API 接受 HTTP 请求并返回JSON data ；这些监控API以jobManager中web server 为基础，默认其监听端口为8081，当然你可以在flink-conf.yaml配置中通过rest.port 自定义其端口，下面我们就对其REST-ful API 进行尝试。 一：Flink 上传jar包REST-ful API PO...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值