Flink on Yarn 远程 debug 应用提交流程及源码分析

最新推荐文章于 2024-05-13 18:11:56 发布
最新推荐文章于 2024-05-13 18:11:56 发布
阅读量2.9k 收藏 20
点赞数 22
分类专栏： Flink Yarn 文章标签： flink yarn hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38201936/article/details/121899896
版权
Flink 同时被 2 个专栏收录
22 篇文章 21 订阅 ¥69.90 ¥99.00
订阅专栏 超级会员免费看
Yarn
3 篇文章 0 订阅
订阅专栏
本文详细介绍了Flink在Yarn上的远程debug提交流程，从客户端的命令解析到Yarn集群的资源调度，涵盖Flink应用提交、ApplicationMaster启动、Dispatcher与ResourceManager的角色，以及TaskManager的注册与Slot分配等关键步骤。同时，提供了源码分析和调试设置指南，帮助读者深入理解Flink的Yarn部署机制。
摘要由CSDN通过智能技术生成

大家好，我是土哥。

今天为大家带来 秒懂 Flink 系列的第 25 篇原创文章 Flink On Yarn per-job 模式的提交流程及源码分析。文章比较硬核，由于前期部署的 Flink 生态是 Flink 1.13.2 版本，所以下面就通过 Flink 1.13.2 版本进行教学，希望小伙伴们可以快速学会~ 具体内容如下：

  1. 提交流程
  2. 代码实现
  3. 提交命令
  4. 源码分析

添加博主微信：youzhiqiangshou_02，拉你进几千人大数据交流群，我们一块学习大数据技术

提交流程

1、客户端（入口类 CliFrontend）

⭐1.1 执行启动脚本，进入 CliFrontend 类的 main 方法中，获取 flink conf 目录配置的路径，然后对其进行加载，同时依次添加 3 种客户端类型，并创建 CliFrontend 对象；

⭐1.2

了解本专栏 订阅专栏 解锁全文 超级会员免费看
3分钟秒懂大数据
关注
专栏目录
订阅专栏
【flink】Flink 使用IntelliJ IDEA 进行远程调试代码
九师兄
08-07 1814
1.概述 转载：Flink 使用IntelliJ IDEA 进行远程调试代码 Flink on Yarn 不好调试, 所以需要用到远程调试. 注意 : 开启远程调试的代码,必须与本地idea的代码必须保持一致. 二 .服务器端配置. 2.1. 设置启动远程debug端口 修改 服务器上的配置文件 ${FLINK_HOME}/flink-config.yaml 增加 环境变量即可. 参考的设置 组件环境变量设置Clientenv.java.opts.client: -agentlib:jdwp=transp.
Flink 远程调试
Emperor_CJ的博客
04-07 2888
背景： 很多小伙伴开发的时候都会在本地调试之后上真实的集群环境，但是本地环境和集群环境还是有本质区别的，当遇到集群环境问题时，所有人都会想如果也能像本地调试就好了，其实 Flink on yarn 远程调试也不复杂，只需要简单的配置即可。 远程调试基本配置 以最简单的java程序说起 IDEA不仅可以本地调试代码，也可以远程调试代码。 一、基本原理 本机和远程主机的两个 VM 之间使用 Debug 协议通过 Socket 通信，传递调试指令和调试信息。 被调试程序的...
【Flink源码系列】Flink on yarn 远程调试源码
JasonLee实时计算
04-03 1910
大家好，我是 JasonLee。前几天有小伙伴问我，我写的 Flink 代码是提交到 yarn 上去运行的，那我怎么能远程调试代码呢？在本地调试代码大家都非常熟悉了，直接在 IDEA 里面打个断点，然后以 debug 模式启动就可以一步步调试代码了。其实 Flink on yarn 远程调试也不复杂，只需要简单的配置即可。集群配置(flink-conf.yaml)在 fl...
IDEA远程Debug（FLink）
谜
12-12 1592
点击框框的编辑选项 按下图添加远程调试，并配置参数 将框里的字符串复制出来，并在前面加固定字符串，下面是需要在FLink配置中添加的完整字符串： env.java.opts.taskmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8843 在Flink集群的某一节点上（建议远程Debug只留一个节...
Flink架构，源码及debug
u013939918的博客
07-02 1837
工作中用Flink做批量和流式处理有段时间了，感觉只看Flink文档是对Flink ProgramRuntime的细节描述不是很多， 程序员还是看代码最简单和有效。所以想写点东西，记录一下，如果能对别人有所帮助，善莫大焉。 说一下我的工作，在一个项目里我们在Flink-SQL基础上构建了一个SQL Engine， 使懂SQL非技术人员能够使用SQL代替程序员直接实现Application， 然后在此基础上在加上一些拖拽的界面，使不懂SQL非技术人员利用拖拽实现批量或流式数据处理的Appl...
flink checkpoint 流程源码分析
yuchuanchen的专栏
05-14 1729
flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr
flink作业提交源码解析（1）-命令行解析及运行
洽洽老大的专栏
02-08 1063
flink作业提交源码解析（1）-命令行解析及运行 原文链接 版本 flink: release-1.14 os: ubuntu 16.04 IDE: IDEA 从bin/flink 这个提交脚本最后一行 exec "${JAVA_RUN}" $JVM_ARGS $FLINK_ENV_JAVA_OPTS "${log_setting[@]}" -classpath "`manglePathList "$CC_CLASSPATH:$INTERNAL_HADOOP_CLASSPATHS"`" org.apac
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6210
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
Flink提交任务（总篇）——执行逻辑整体分析
热门推荐
hxcaifly的博客
02-21 1万+
Flink客户端提交任务执行的逻辑分析 针对Flink1.7-release版本 前言 Flink的源码体系比较庞大，一头扎进去，很容易一头雾水，不知道从哪部分代码看起。但是如果结合我们的业务开发，有针对性地去跟进源码去发现问题，理解源码里的执行细节，效果会更好。 笔者在近期的Flink开发过程中，因为产品的原因，只允许部署Flink standalone模式，出于性能考虑，很有必要对其性能做下测...
【Flink】Flink on yarn 远程调试
九师兄
05-28 1219
1.概述 转载：Flink on yarn 远程调试 大家好，我是 JasonLee。 前几天有小伙伴问我，我写的 Flink 代码是提交到 yarn 上去运行的，那我怎么能远程调试代码呢？在本地调试代码大家都非常熟悉了，直接在 IDEA 里面打个断点，然后以 debug 模式启动就可以一步步调试代码了。其实 Flink on yarn 远程调试也不复杂，只需要简单的配置即可。 2.集群配置(flink-conf.yaml) 在 flink-conf.yaml 配置文件中添加下面三行配置 # 远程调试 en
Flink通过flink-yarn远程提交任务到yarn集群
clearlxj的博客
09-30 2391
public void crateStreamTaskByFlinkClient() { //flink的本地配置目录，为了得到flink的配置 // 如果出现org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function.错误 // 则在flink-config.yaml加入 // classloader.resolve-order: parent-first String con
flink 远程调试
qq_26887089的博客
07-29 688
flink远程调试flink配置idea 配置 flink配置 flink-conf.yaml #配置远程调试 env.java.opts.jobmanager: “-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005” env.java.opts.taskmanager: “-agentlib:jdwp=transp...
Flink源码学习一 客户端提交yarn-job任务源码处理 1.17分支
weixin_47019045的博客
09-30 974
flink -h调用的shell脚本位于flink bin目录下的flink脚本执行。去到脚本最后一行，可以看到实际是启用了一个java程序可以看到shell脚本实际调用的是org.apache.flink.client.cli.CliFrontend这个类的main方式执行程序。
flink提交作业到yarn
chanyue123的博客
12-01 8430
讲解flink如何提交到yarn
使用java远程提交flink任务到yarn集群
最新发布
weixin_43039757的博客
05-13 1599
由于业务需要，使用命令行的方式提交flink任务比较麻烦，要么将后端任务部署到大数据集群，要么弄一个提交机，感觉都不是很离线。经过一些调研，发现可以实现远程的任务发布。接下来就记录一下实现过程。这里用flink on yarn 的Application模式实现。
Flink on Yarn 作业提交流程源码解析
qq_24186017的博客
09-21 216
本篇文章进行Per-Job模式的作业提交流程源码解析
Flink内核源码解析系列（十二）：向Yarn Resource Manager提交任务信息
打工日常
06-09 141
在上一篇文章《Flink内核源码解析系列（十一）：部署集群》中，讲了提交任务信息前的准备，本篇讲讲如何向Yarn Resource Manager提交任务信息？ 继续看startAppMaster方法中，有一行代码如下： // TODO: 向yarn提交应用 yarnClient.submitApplication(appContext); 在《Flink内核源码解析系列（九）：创建集群描述器并启动yarn客户端》中讲到，创建集群描述器和启动yarn客户端。 也就是说，Flink是通过yarnClient
Flink内核源码解析系列（七）：yarn-per-job提交流程
打工日常
06-08 293
上一篇文章《Flink内核源码解析系列（六）：调用执行环境的execute方法》中讲到了最终调用到AbstractJobClusterExecutor的execute方法 接下来总体看看execute方法中都做了些什么？ @Override public CompletableFuture<JobClient> execute( @Nonnull final Pipeline pipeline, @Nonnull final Con
Flink On Yarn的作业完整提交流程
04-20
Flink On Yarn的作业完整提交流程包括以下步骤： 1. 在Flink Web UI上提交作业，并生成Jar包。 2. 将Jar包上传至HDFS。 3. 在YARN上以Session Cluster模式启动Flink集群。 以上步骤将Flink应用程序打包并在Yarn上启动，最终可通过Flink Web UI查看应用程序的运行状态和日志信息。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3分钟秒懂大数据

你的打赏就是对我最大的鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值