【Flink】Flink on yarn 支持指定 application id 吗? yarn.application.id

最新推荐文章于 2024-07-24 11:58:44 发布

九师兄

最新推荐文章于 2024-07-24 11:58:44 发布

阅读量2.6k

点赞数

分类专栏：大数据-flink 文章标签： flink application id 指定

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/121644095

版权

大数据-flink 专栏收录该内容

839 篇文章 855 订阅 ¥99.90 ¥299.90

订阅专栏

本文讨论了Flink在YARN上的部署，特别是YARN application模式和session模式。在session模式中，介绍了默认的attached和detached模式，并详细解释了如何指定YARN集群及配置参数。此外，通过源码分析，阐述了YARN session模式下application ID的生成和使用过程。

摘要由CSDN通过智能技术生成

文章目录

1.概述
2.yarn application模式
3.yarn-session 模式
- 3.1 Session Mode
4.源码
- 4.1 yarn-session模式
- 4.2 yarn cluster模式

1.概述

有人想 -Dyarn.application.id=application_XXXX_YY flink on yarn 支持application这样指定id

这个问题，非常好，我也想知道，而且这个还是阿里的面试题之一。

然后我就去查了一下这个怎么使用。

2.yarn application模式

Once an Application Mode cluster is deployed, you can interact with it for operations like cancelling or taking a savepoint.

# List running job on the cluster
./bin/flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Apache Flink连载（二十一）：Flink On Yarn运行原理-Yarn Application模式

qq_32020645的博客

12-30

954

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。

yarn 命令学习：yarn application

jkdcdlly的专栏

12-05

6751

yarn application 说明：打印 application(s) 报告，或者 kill 掉 application，共7个可选项 1、-list 列出所有 application 信息示例：yarn application -list 打印信息： Application-Id Applicat

参与评论您还未登录，请先登录后发表或查看评论

java版flink应用启动获取自身的applicationId

lnkToKing的博客

11-02

2063

直接上代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.getJobListeners().add(new JobListener() { /** * 监听flink应用提交成功事件 */ @Override public void onJobSubmitted(JobClient jobClient, Throwable throwable) { /

Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）

最新发布

苍煜

07-24

2983

Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。

flink-1.11 Application 模式

yuchuanchen的专栏

07-27

5582

1. 背景 flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。 2. 优势 Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。 Per-Job模式：每个作业单独启动集群，隔离性好，JM 负载均衡，main 方法在客户端执行。通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行

Flink在Yarn模式部署和命令

weixin_40659514的博客

10-25

3198

flink的yarn提交模式

Flink yarn.application-attempts 与 yarn.resourcemanager.am.max-attempts 区别

Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发

08-07

3512

yarn.resourcemanager.am.max-attempts 是yarn集群上的全局配置，对运行在集群上的所有flink任务起作用；在yarn-site.xml中配置； yarn.application-attempts 只对当前的flink Job起作用，且不能大于yarn.resourcemanager.am.max-attempts，不然会被yarn.resourcemanager.am.max-attempts的值覆盖掉；在flink-conf.yaml中配置（每个J.

cdh6.3.1 FLINK_ON_YARN-1.14.0.jar

02-14

CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件）文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...

flink 任务在yarn里设置用户名

遥望......

01-16

3488

spark 任务可以通过--proxy-user xxxx能设置代理用户执行任务，在yarn 的application ui 里的username显示为xxxx flink 任务可以通过在执行flink run之前exportHADOOP_USER_NAME=xxxx 或者执行命令加上参数-yD env.java.opts="-DHADOOP_USER_NAME=xxxx" ...

java applog_yarn logs -applicationId命令java版本简单实现

weixin_42512096的博客

02-23

287

1 import java.io.DataInputStream;2 import java.io.EOFException;3 import java.io.FileNotFoundException;4 import java.io.PrintStream;56 import org.apache.commons.lang.StringUtils;7 import org.apache.had...

yarn application 命令列表

liuwei0376的专栏

12-07

5128

一、yarn application 命令概览命令参数说明 -appStates Works with -list to filter applications based on input comma-separated list of application states. The valid application state can be one of the following:ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FIN

flink 怎么根据 jobName获取 jobId

初楚凌的专栏

01-28

6591

本文为原创，转载请注明出处！这是一个看起来很简单的事，但是在网上查了好久都没有答案。觉得好奇怪。这个看似简单的问题，官方竟然没有对应的方法？兜兜转转，后来转念想，没有直接的方法的话，那我可以获取到所有的job信息吗？这样一查之后，就有结果了。 flink官方提供了一套监控系统的rest API，可以查到job的所有信息。还是那句话，要好好看官方文档啊！ http://127.0...

Hadoop YARN

devalone 的专栏

06-13

876

Hadoop YARN Apache YARN (Yet Another Resource Negotiator) 是 Hadoop 集群资源管理系统。YARN 由 Hadoop 2 引入以改进 MapReduce 实现，但它是通用的，足以支持其他分布式计算模型。 YARN 为请求提供 API 并与集群资源共同工作，但这些 API 通常不是由用户代码直接使用的。相反，用户使用由其他分布式计...

Flink-跟着问题读源码：提交作业时未返回yarn applicationId

三石

08-17

1090

问题描述在公司做flink实时计算平台时，需要将flink jar提交到yarn上后获取applicationId，以此来处理后续的状态控制。但是在升级flink1.9.0到flink1.10.1后，突然无法从日志中解析得到applicationId了。方案很有意思，最后验证表明，服务端日志和客户端日志可以采用两套日志体系，首先client代码我们公司都是使用logback的，于是，当 1、Server端为logback时，即/lib下的包为logback-classic-1.2.3.jar、logb

flink的sql-client，使用hive metastore作为catalog，来执行sql

wzp1986的专栏

07-08

1364

适用于flink1.13+版本 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/table/hive/overview/#dependencies1、把flink-connector-hive_2.11-1.14.4.jar、flink-connector-kafka_2.11-1.14.4.jar、hive-exec-2.3.4.jar下载到flink的lib目录2、hadoop/yarn的相关依赖使用环

Flink任务部署-deply总结

htmljsp的博客

03-17

3131

Flink作业deploy https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/overview/ https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/deployment/resource-providers/yarn/ https://nightlies.apache.org/flink/flink-docs-release

Flink-Yarn安装及使用

chenlei0520的博客

02-08

1226

在YARN平台上Flink是如何集成部署的

Flink的Yarn-Per-Job提交指令

mp9105的博客

05-18

9905

Flink的yarn-per-job提交 0.运行环境 Flink版本：Flink 1.13.0 集群环境：CDH6.3.2 新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务主要描述该部分的提交流程 1.提交任务提交任务主要是通过./bin/flink run -t yarn-per-job完成常用的提交指令如下 ./bin/flink run \ # 指定yarn的Per-job模式，-t等价于-Dexecution.target -

flink on yarn如何部署，支持高可用吗

05-19

Flink on Yarn 是 Apache Flink 的一种部署方式，可以在 Hadoop Yarn 上运行 Flink 应用程序。部署 Flink on Yarn 的主要步骤如下： 1. 安装 Hadoop 和 Yarn：在部署 Flink on Yarn 之前，需要先安装 Hadoop 和 Yarn。 2. 下载 Flink：从 Flink 官网下载 Flink 二进制文件。 3. 配置 Flink：编辑 Flink 的配置文件 flink-conf.yaml，配置 Flink 的相关参数，如 TaskManager 的数量、内存大小等。 4. 启动 Yarn：在启动 Flink on Yarn 之前，需要先启动 Yarn。 5. 提交 Flink 应用程序：使用 Flink 提供的命令行工具 flink run，提交 Flink 应用程序到 Yarn 上运行。 6. 监控 Flink 应用程序：可以使用 Flink 提供的 WebUI 或者 Yarn 提供的 WebUI 监控 Flink 应用程序的运行状态。关于高可用性，Flink on Yarn 支持 Flink 的高可用性机制，可以通过配置 Flink 的 HA 参数来实现。在 Flink on Yarn 中，Flink 的 JobManager 运行在 Yarn 的一个容器中，当容器失败时，Yarn 会自动重新启动 JobManager。同时，Flink 也支持将 JobManager 的状态保存到 ZooKeeper 中，以便在 JobManager 失败时能够恢复其状态。因此，Flink on Yarn 支持高可用性。