【Flink】通过REST API监控正在运行的作业状态和统计信息

已于 2022-08-10 15:07:47 修改
阅读量1.8k 收藏 5
点赞数 4
分类专栏： Flink越学越上头 文章标签： flink 分布式 大数据
于 2022-08-10 15:05:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43744420/article/details/126266263
版权

REST API

Flink 具有监控 API ，可用于查询正在运行的作业以及最近完成的作业的状态和统计信息。该监控 API 被用于 Flink 自己的仪表盘，同时也可用于自定义监控工具。

该监控 API 是 REST-ful 风格的，可以接受 HTTP 请求并返回 JSON 格式的数据。

API reference

  • /cluster：Returns all cluster data sets

  • /jars：Returns a list of all jars previously uploaded via '/jars/upload'

  • /jobs：Returns an overview over all jobs and their current state

  • /jobs/overview：Returns an overview over all jobs

  • /jobs/:jobid：Returns details of a job

  • /jobs/:jobid/exceptions：Returns the most recent exceptions that have been handled by Flink for this job

全部a

最低0.47元/天 解锁文章
甜食赛高
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
flink实战--metrics监控与rest api
阿华田的博客
05-24 1万+
Flink metrics简介 Flink的metrics是Flink公开的一个度量系统，允许收集flink程序的公开指标到外部系统，我们也可以自定义指标通过metric收集，实际开发时经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过metric......
如何实时监控 Flink 和你的 Job？
http://www.54tianzhisheng.cn/
09-22 1866
当将 Flink Job Manager、Task Manager 都运行起来了，并且也部署了不少 Flink Job，那么它到底是否还在运行、运行的状态如何、资源 Task Manager 和 Slot 的个数是否足够、Job 内部是否出现异常、计算速度是否跟得上数据生产的速度 等这些问题其实对我们来说是比较关注的，所以就很迫切的需要一个监控系统帮我们把整个 Flink 集群的运行状态给展示出来...
Flink 通过 REST API 获取实时 task metric 汇总统计信息
yuchuanchen的专栏
03-11 9868
#Flink 通过 REST API 获取实时 task metric 汇总统计信息 运行 flink 程序时会经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文通过示例介绍通过 flink REST API 获取 flink 实时吞吐。 为了更简单的表示，以下的 REST API 请求...
Flink on yarn 的restful api 简单备份实践
qq_31866793的博客
01-15 2605
业务需求： 通过yarn的restful api简单的对提交到yarn的flink任务进行运行状态预警监控。 官方文档地址： Apache Hadoop 3.2.2 – ResourceManager REST APIs. yarn的restful api： 1， 2， 3， 4， 5， 6， ...
flink 提交任务时获取jobid
qq_30517167的博客
06-14 234
【代码】flink 提交任务时获取jobid。
【Flink】Flink 任务实时监控
九师兄
01-13 6605
1.概述 转载：Flink 任务实时监控最佳实践 我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等情况我们是不知道的,虽然 Flink 的 UI 上面可以添加相关的 metrics 来查看,但是需要手动的一个一个添加,还是比较麻烦的,特别是在任务非常多的情况下.所以就需要有一种统一的监控方案来解决这个问题.Flink 本身提供了非常丰富的 Metric Re
Flink任务监控（基于API接口编写shell脚本）
qq_36470898的博客
04-29 4488
Flink部署模式主要分为Flink StandAlone 模式，flink-on-yarn 模式。 Flink StandAlone 模式 主要是通过调用
flink指定jobid
路过君的博客
05-31 2339
版本 flink 1.14.4 方法 Configuration configuration = new Configuration(); configuration.setString(PipelineOptionsInternal.PIPELINE_FIXED_JOB_ID, "xxx"); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(configuration); 源码分析 o
Flink状态算子和状态后端
互联网知识分享
08-03 202
默认使用的状态后端，它将状态数据存储在内存中。内存状态后端适用于数据量较小的场景，它提供了较高的读写性能和低延迟。提供了多种状态算子和状态后端，可以根据实际需求选择合适的算子和后端进行状态管理和存储。它适用于需要高可靠性和持久性的场景，可以在发生故障时恢复状态数据。等操作方法，可以根据键获取对应的值，也可以根据键删除对应的键值对。提供了一系列的状态算子，用于在流处理过程中管理和操作状态数据。等操作方法，可以获取当前状态的值，也可以更新当前状态的值。状态后端是指用于存储和管理状态数据的技术。
基于 Monitoring REST API 的 Flink 轻量级作业诊断.pdf
03-21
Monitoring REST API是Flink的监控接口，可以用于监控和诊断Flink作业。通过Monitoring REST API，可以获取Flink作业的实时指标数据，例如作业的执行时间、内存使用情况、网络带宽等。 基于Monitoring REST API的...
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring...
使用flink的standalone模式同步Kafka的数据到clickhouse的flink代码和jar包
03-15
7. **监控与故障恢复**：Flink提供了一套完整的监控系统，可以查看作业的状态、指标和错误日志。当遇到故障时，Flink的检查点机制能确保数据一致性，并在必要时进行状态恢复。 8. **性能优化**：在实际应用中，还...
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **REST API**：允许通过HTTP接口与Flink Job Manager交互，实现自动化部署和监控。 7. **Flink与Spark对比** - **事件时间处理**：Flink在事件时间处理上更加强大，支持窗口和乱序事件处理。 - **延迟**：...
flink conf配置文件
08-15
9. **rest.address** 和 **rest.port**: 设置Flink的REST API接口地址和端口，可用于提交作业和获取监控信息。 10. **slotSharingGroup**: 分组槽配置，允许将特定的运算符分在同一组，共享TaskManager的槽位，提高...
如何在文件中，jps找到运行Flink的pid进程号
知其然，知其所以然
06-03 1756
请看，下面这个图片： 成功找到，进程号。如果进程结束，那么对应文件将会消失。
Flink 监控指南 被动拉取 Rest API
SmartSi
07-31 683
Flink的MetricAPI可用于查询正在运行的作业以及最近完成的作业的状态和统计信息。Flink自己的WebUI也使用了这些MetricAPI，但MetricAPI主要是为了自定义监视工具设计的。MetricAPI是REST-fulAPI，接受HTTP请求并返回JSON数据响应。MetricAPI由JobManager的Web服务器提供支持。防止端口冲突，在这把端口号修改为8090。的形式。...
flink 怎么根据 jobName获取 jobId
初楚凌的专栏
01-28 6558
本文为原创，转载请注明出处！ 这是一个看起来很简单的事，但是在网上查了好久都没有答案。觉得好奇怪。这个看似简单的问题，官方竟然没有对应的方法？ 兜兜转转，后来转念想，没有直接的方法的话，那我可以获取到所有的job信息吗？ 这样一查之后，就有结果了。 flink官方提供了一套监控系统的rest API，可以查到job的所有信息。 还是那句话，要好好看官方文档啊！ http://127.0...
（五）Flink Sink 数据输出
最新发布
springk的专栏
08-19 142
经过 Transformation 操作之后，最终形成用户所需要的结果数据集。通常情况下，用户希望将结果数据输出到外部存储介质或者传输到下游的消息中间件中，在 Flink 中，将 DataStream 数据输出到外部系统的过程被定义为 Sink 操作。
flink-job进程监控
05-23
Flink 提供了多种方式监控 Flink 作业的进程，以下是其中一些： 1. Flink Web Dashboard：可以通过 Flink Web Dashboard 监控 Flink 作业的状态、指标和日志等信息。Flink Web Dashboard 默认在 Flink 集群的 JobManager 上启动，可以通过打开浏览器并访问 http://<JobManager-Host>:8081 来查看。 2. Flink Metrics：Flink 提供了多种内置指标来监控 Flink 作业的状态和性能。可以通过将这些指标导出到外部系统（如 Prometheus、Graphite 等）来实现更高级的监控和报警功能。 3. Flink REST API：Flink REST API 可以用于查询 Flink 作业的状态、指标和日志等信息。可以通过编写脚本或使用第三方工具（如 Flink CLI）来访问 Flink REST API。 4. Flink 日志：Flink 作业的日志包含了各种类型的信息，如作业启动、Checkpoint、任务失败等。可以通过监控 Flink 日志来诊断问题和进行调试。 以上是一些常见的 Flink 作业进程监控方式，你可以根据自己的需求选择适合自己的方式进行监控。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值