flink实战--metrics监控与rest api

置顶 已于 2023-04-28 17:07:57 修改
阅读量1.5w 收藏 20
点赞数 8
分类专栏： Flink学习必读系列 文章标签： flink任务监控 flink的metric监控 metric flink REST API
于 2019-05-24 17:39:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/88952910
版权
本文详细介绍了Flink的metrics系统，包括metrics在UI界面的应用，自定义监控指标的方法，以及Flink REST API的使用，用于实时获取任务状态和监控数据。通过监控指标和API，可以实现对Flink任务的高效运维和问题排查。
摘要由CSDN通过智能技术生成

Flink metrics简介

              Flink的metrics是Flink公开的一个度量系统，metrics也可以暴露给外部系统，通过在flink配置文件conf/flink-conf.yaml配置即可，flink原生已经支持了很多reporter，如JMX、InfluxDB、Prometheus等等。我们也可以自定义指标通过metric收集，实际开发时经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过metric监控flink程序，自定义监控指标以及metrics在flink的UI界面的应用。

Metrics在UI页面上的应用

          在flink的UI的界面上我们点击任务详情，然后点击Task Metrics会弹出如下的界面，在 add metic按钮上 我们可以添加我需要的监控指标。

注意：如果点击Task Metrics没有显示Add metics 点击一下任务的DAG图就会显示出来，当我们点击了DAG图中某个算子的名字，那么Add 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
专栏目录
订阅专栏
flink实战 -- flink on yarn 任务日志收集与监控
阿华田的博客
09-02 3701
背景 在 Flink on yarn 的模式下,taskManager的日志会存储到所在的DataNode上,当 Flink 任务发生异常，产生异常日志时，需要我们第一时间感知任务已经出现异常，避免影响业务。因此我们需要将Flink任务的日志实时收集起来，出现异常日志立刻报警，做的真正意义上的实时报警，而不是等flink任务掉线了在发出报警。收集到了任务日志，即使任务掉线了也方便我们通过日志定位问题。 日志收集方案 在 Flink 1.1...
Flink（二十七）—— Flink Metrics 原理与监控实战
weixin_42073629的博客
10-17 1164
什么是 Metrics？ Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该
【Flink】通过REST API监控正在运行的作业状态和统计信息
qq_43744420的博客
08-10 1959
通过REST API监控正在运行的作业状态和统计信息
Flink -1- 简介和运行架构
最新发布
苍煜
07-24 3420
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。
flink metrics
weixin_34190136的博客
08-18 383
https://stackoverflow.com/questions/50972168/flink-latency-metrics-not-being-shown/50982071#50982071 https://stackoverflow.com/questions/45211970/how-to-get-the-latency-number-of-flink-job https://w...
flink-metrics-core-1.14.3-API文档-中文版.zip
06-06
赠送jar包：flink-metrics-core-1.14.3.jar； 赠送原API文档：flink-metrics-core-1.14.3-javadoc.jar； 赠送源代码：flink-metrics-core-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-metrics-core-1.14.3.pom； 包含翻译后的API文档：flink-metrics-core-1.14.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-metrics-core:1.14.3； 标签：apache、flink、metrics、core、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
Flink常用监控API
白夜的随笔
12-02 4327
通常，我们可以通过Flink WebUI来查看和监控Flink任务的运行状态，如图 但如果我们要基于Flink自建一个实时计算平台，则不能依赖于Flink WebUI，而需要自己实现Flink任务状态的查看和监控了。 实际上，Flink有一套自己的监控REST API，Flink WebUI也是基于这套监控API实现的，我们可以调用官方提供的监控API，来实现我们自己想要的参数查看和状态监控功能。 下面的表格列举了常用的Flink监控REST API： 请求方法 接口 功能 参数 GET
Flink Metrics&REST API 介绍和原理解析
cloudbigdata的博客
05-06 2027
通过学习 Flink Metrics 和 REST 接口，了解 Flink 是如何完成监控的。
Flink之Metric监控架构剖析
jhkkhtd的专栏
06-18 584
这几天开始接触linux IP 协议栈,并试着去让理论和源码结合起来去读，渐渐发现网络理论与网络编程 不是一个数量级上的，。结合代码和理论一起学，才能对网络有更深层次的理解。
Flink Rest API使用
热门推荐
qq_27710549的博客
05-29 1万+
Flink Rest API使用 ---------------- ### 1. 上传jar包接口 - 请求路径 - http://hadoop3.test.yunwei.puppet.dh:40610/jars/upload - 请求方式 - POST - 请求参数 - 设置请求头 application/java-archive - 返回结果 ...
flink实战--HistoryServer配置与应用
阿华田的博客
10-15 1738
背景 回想一下，在实际线上开发flink任务时是否存在这样需求，flink实时任务夜间掉线了，此时我们再去查看yarn的页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics监控，那么很遗憾这些信息就丢失了，对我们分析任务出现的bug很不友好，此时flink的HistoryServer出现了，本文将详细介绍HistoryServer的配置与使用。 HistoryServer flink任务停止后，JobMan...
Flink 监控与运维
u010160949的博客
05-10 545
Flink 监控与运维1.metric1.2MetricGroup1.3 自定义 Counter1.4 自定义 Counter1.4 自定义 Gauge1.5 JMXReporter 应用2.Flink RestAPI 介绍与使用3.Checkpoint 的监控与优化3.1checkpoint 指标4.反压监控与原理5.Flink内存配置与调优 1.metric <identifier, measurement> 标识符-度量值 Metric 类型： Counter 计数器 Gauge 最简单的
Flink详解 Metrics 原理与实践
hhhhhhfq的博客
04-12 2380
什么是 Metrics ? Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实行查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该很
Flink教程（13）- Flink高级API（状态管理）
阿甘兄
03-08 1979
文章目录01 引言02 Flink中的有状态计算03 有状态和无状态计算3.1 无状态计算3.1.1 无状态计算特点3.1.2 无状态计算例子（消费延迟计算）3.2 有状态计算3.2.1 有状态计算特点3.2.2 有状态计算例子（访问量统计）3.2.3 有状态计算的场景04 状态的分类4.1 Managed State & Raw State4.2 Keyed State & Operator State4.2.1 Keyed State4.2.2 Operator State05
Flink metric 简单尝试
qq_31866793的博客
05-21 345
参考文档： https://ci.apache.org/projects/flink/flink-docs-release-1.3/monitoring/metrics.html 实际代码： package metric import java.util.Properties import com.sjb.constant.Constants import org.apache.flink.api.common.functions.RichMapFunctio...
【Flink Rest-ful API 】
追赶者的博客
03-31 1479
Flink 有了一些查询job状态指标的API,这些监控API is a REST-ful API 接受 HTTP 请求并返回JSON data ；这些监控API以jobManager中web server 为基础，默认其监听端口为8081，当然你可以在flink-conf.yaml配置中通过rest.port 自定义其端口，下面我们就对其REST-ful API 进行尝试。 一：Flink 上传jar包REST-ful API PO...
Flink rest接口查询metric的整体链路
tjq980303的博客
06-10 732
Flink metrics 最近根据flinkUI的接口追踪了一下blink的metric信息的查询过程，在这里记录一下 入口 首先我这里的入口指的是flink UI中的/jobs/:jobid这个rest接口，具体处理逻辑是在JobDetailsHandler，JobDetailsHandler的注册以及与path的绑定可以看WebMonitorEndpoint部分，这一块不是本文的具体内容，其中查询的逻辑为JobDetailsHandler.handleRequest。 protected JobDet
flink源码分析之功能组件(一)-metrics
leehom的博客
11-20 1882
本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metric，future。其中kubeclient上一个系列介绍过，本系列不在介绍。本文介绍flink metrics组件，metrics透视系统内状况，是系统预警，查错，性能改进的利器。
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值