【Flink】flink metric 如何获取yarn applicationId

最新推荐文章于 2024-07-25 20:48:29 发布

九师兄

最新推荐文章于 2024-07-25 20:48:29 发布

阅读量100

点赞数 1

分类专栏：大数据-flink 文章标签： flink 大数据

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/134256213

版权

大数据-flink 专栏收录该内容

838 篇文章 844 订阅 ¥99.90 ¥299.90

订阅专栏

在这里插入图片描述

1.概述

flink metric 如何获取yarn applicationId

1.使用 YARN ApplicationStatus：

// 获取 MetricQueryService 对象
MetricQueryService metricQueryService = ...; // 通过 Flink 的 MetricQueryService 实例获取

// 获取 YARN Application ID
ApplicationId yarnApplicationId = metricQueryService.getApplicationStatus

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
【Flink】flink metric 如何获取yarn applicationId

flink metric 如何获取yarn applicationId。
复制链接

扫一扫

专栏目录

订阅专栏

Flink-跟着问题读源码：提交作业时未返回yarn applicationId

三石

08-17

1079

问题描述在公司做flink实时计算平台时，需要将flink jar提交到yarn上后获取applicationId，以此来处理后续的状态控制。但是在升级flink1.9.0到flink1.10.1后，突然无法从日志中解析得到applicationId了。方案很有意思，最后验证表明，服务端日志和客户端日志可以采用两套日志体系，首先client代码我们公司都是使用logback的，于是，当 1、Server端为logback时，即/lib下的包为logback-classic-1.2.3.jar、logb

java版flink应用启动获取自身的applicationId

lnkToKing的博客

11-02

2017

直接上代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.getJobListeners().add(new JobListener() { /** * 监听flink应用提交成功事件 */ @Override public void onJobSubmitted(JobClient jobClient, Throwable throwable) { /

参与评论您还未登录，请先登录后发表或查看评论

Yarn获取Application列表编码

06-16

Yarn编码获取Application列表，编程实现application的信息，kill application操作，获取job信息，maven打包操作。

[ hadoop] Yarn架构

jason_bone_的博客

03-16

3906

Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。基础架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 ResourceManager:整个集群资源的老大 NodeManager:单节点资源的老大 ApplicationMaster:单个作业任务的老大 Container:容器 Yarn

cdh6.3.1 FLINK_ON_YARN-1.14.0.jar

02-14

CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件）文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...

flink-on-yarn-1.13.2.jar

09-28

本人搭建cdh6.3.2环境时候集成flink1.13.2组件使用的flink_on_yarn-1.13.2.jar资源包，已验证可以使用，是本人制作parcel的时候的成品

FLINK_ON_YARN-1.14.3.jar

04-05

CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar

FLINK_ON_YARN-1.12.0.jar

11-01

适用范围CDH (>= 5.2), CDH (),系统版本 el7

flink自定义metric中只显示metric不显示metricgroup.docx

04-17

在面对自定义监控需求时，Flink提供了灵活的Metric API来创建自定义的度量。在描述的问题中，开发者尝试通过Flink的MetricGroup来创建一个带有特定分组信息的计数器（Counter）。MetricGroup允许我们组织和分类...

flink部署模式（二）- yarn三种部署模式

weixin_38251332的博客

06-20

1482

基于flink1.15.0开启flink yarn-session集群提交任务进入客户端交互界面强制杀掉任务NOTE：启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager启动perjob集群查看集群上运行的job ./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1652928425471_0252 取消某个job**NOTE：**在per

Flink内核源码解析系列（十）：获取yarn集群特定的配置参数

打工日常

06-08

159

final ClusterSpecification clusterSpecification = clusterClientFactory.getClusterSpecification(configuration); getClusterSpecification @Override public ClusterSpecification getClusterSpecification(Configuration configuration) {

Flink踩坑记录

weixin_42162155的博客

05-19

334

1.使用application提交任务至yarn运行，使用yarn提供的rest接口获取某些信息通过applicationId获取flink jobId http://ip:port/proxy/application_id/jobs 当判断提交的yarn任务状态为RUNNING时，发送请求获取jobid时，无法即时获取包含id的响应结果，yarn任务的状态与flink job 运行状态同步有延迟，需要等待几秒后才能获取到jobid ...

yarn 根据applicationId查看日志

08-11

8261

前提需要yarn开通日志聚合设置yarn logs -applicationId application_1436784252938_0022

yarn application命令介绍

最新发布

07-25

892

是一个开源的大数据处理框架，其起源可以追溯到一个名为 Stratosphere 的研究项目，旨在建立下一代大数据分析引擎，2010 年，从 Stratosphere 项目中分化出了 Flink 的前身。到了 2014 年，Flink 项目被捐赠给了 Apache 软件基金会，并在同年 4 月成为 Apache 的孵化项目，12 月成为 Apache 的顶级项目。

分布式系统常见软件架构模式

Ben的专栏

07-25

978

简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。

flink yarn

08-18

Flink 可以在 Apache Hadoop YARN 上运行，利用 YARN 的资源管理和调度功能来管理 Flink 应用程序在集群上的执行。要在 YARN 上运行 Flink，需要进行以下步骤： 1. 安装和配置 Hadoop：首先，需要安装和配置 Hadoop 集群。确保 Hadoop 集群正常运行，并且 YARN ResourceManager 和 NodeManager 正在运行。 2. 下载和配置 Flink：从 Flink 官方网站下载 Flink 的二进制包，并解压到你的机器上。在 `conf/flink-conf.yaml` 配置文件中设置以下参数： ``` # 设置执行模式为 YARN execution.mode: yarn-session # 设置 YARN 的 Application Master 内存 yarn.application-master.memory: 1024m # 设置任务管理器的数量和内存 taskmanager.memory.process.size: 1024m taskmanager.numberOfTaskSlots: 1 # 设置 YARN 的队列名称（可选） yarn.application-master.queue: default ``` 还可以根据需要进行其他配置，例如并行度、检查点设置等。 3. 启动 Flink 集群：使用以下命令启动 Flink 集群： ``` ./bin/yarn-session.sh -n <num_taskmanagers> -tm <taskmanager_memory> ``` 其中 `<num_taskmanagers>` 是任务管理器的数量，`<taskmanager_memory>` 是每个任务管理器的内存大小。例如，`./bin/yarn-session.sh -n 2 -tm 1024m` 启动了两个任务管理器，每个任务管理器的内存大小为 1024MB。 Flink 集群会与 YARN ResourceManager 进行通信，并为应用程序分配资源。 4. 提交应用程序：一旦 Flink 集群启动，你可以使用 Flink 提供的命令行工具或 API 来提交应用程序。例如，使用 `./bin/flink run <program_jar_or_class>` 来提交一个 Java/Scala 程序。 Flink 应用程序将在集群中的任务管理器上执行，并利用由 YARN 分配的资源。 5. 监控和管理：可以使用 Flink 的 Web UI 或 Hadoop YARN 的相关工具来监控和管理正在运行的 Flink 应用程序和集群资源。通过以上步骤，你可以在 YARN 上运行 Flink 应用程序，利用 YARN 的资源管理和调度功能来实现分布式的数据处理。请注意，具体的配置和操作步骤可能会因不同的版本和环境而有所不同，建议参考 Flink 的官方文档或相关教程来进行详细的配置和操作。