【FLink源码】 1.13 3 种 命令客户端 Generic CLI 、 yarn-cluster、DefaultCLI使用

已于 2022-12-07 17:02:25 修改
阅读量968 收藏
点赞数
分类专栏： Flink实战 文章标签： flink 大数据
于 2022-11-21 16:15:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/127960643
版权
本文详细解析了Flink 1.13中Generic CLI、yarn-cluster和default模式的命令客户端使用及源码流程。重点指出这三种模式不能混用，否则可能导致命令不生效。例如，-m yarn-cluster属于yarn-cluster模式，而-Dtaskmanager.numberOfTaskSlots=2属于Generic CLI模式，混用会导致-D参数失效。
摘要由CSDN通过智能技术生成

先说结论：对于三种Cli，Generic CLI mode、yarn-cluster mode、default mode，无法同时使用，源码使用顺序为Generic CLI mode优先判断，接着是 yarn-cluster mode ，最后是default mode，所以对于三种Cli的参数，不能混用，否则会出现命令不生效的情况，具体使用以及源码见下文

Flink在执行命令行提交flink的时候会用到 flink安装目录bin目录下的flink脚本，输入flink -h 可以看到flink如何提交格式

./flink <ACTION> [OPTIONS] [ARGUMENTS]

 我们以action为run的时候就是提交flink为例，option有三种模式Generic CLI mode、yarn-cluster mode、default mode

 这些命令源码中怎么解析呢？

1、首先去flink脚本中看看flink run脚本执行后进入了哪个类？我们打开flink脚本

[root&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】FLink 1.13 3 种 命令客户端 GenericCLI 、 FlinkYarnSessionCli、DefaultCLI
九师兄
08-13 1006
文章目录1.概述2.第一个 GenericCLI3. 第二个 FlinkYarnSessionCli4.default 1.概述 在源码中org.apache.flink.client.cli.CliFrontend#main如下 /** Submits the job based on the arguments. */ public static void main(final String[] args) { // 1. 打印基本的环境信息 获取配置conf目录: /opt/
【Flink】flink 升级 the given -yarn-cluster does not contain a valid port
九师兄
06-04 790
1.场景1 1.1 概述 在本次场景中，我是从flink 1.9升级到1.12.4 升级请参考：【Flink】Flink 从 1.9.1 版本 升级到 1.12.4 版本的 注意事项 以及 过程 然后发下 提交命令变化了，然后报错了这个 Flink ： Flink run yarn 报错 could not build the program from jar file -ynm 根据这个我将参数一个一个的去掉，最后剩下 ...
Flink1.15源码阅读flink-clients之GenericCLI、flinkYarnSessionCLI和DefaultCLI
京河小蚁的博客
07-29 693
for循环中顺序的取出之前存到集合中的三个客户端，根据cli.isActive(commandLine)这个方法检查，第一个活跃的客户端并立即返回，因为默认的客户端active总是true，从下面代码可以看出。configuration.getOptional(DeploymentOptions.TARGET).isPresent()TARGET是否存在。DefaultCLI#isActive总是true，所以默认客户端总是兜底的。从上面注释中，很容易看出该方法是干什么的，获取活跃的命令行客户端；.....
Flink 1.13 CliFrontend之run源码解读
无忧
07-30 399
提示：本文的源码是基于Flink 1.13版本 文章目录前言一、per-job模式提交命令二、源码解读1. run方法解读2. executeProgram方法解读总结 前言 上一篇博文介绍了runApplication的源码，这篇文章再简单的解读一下run的源码,也是最常见的pre-job的运行模式。如果你看了上一篇博文，相信这篇文章看起来会很简单,因为run的代码比runApplication简单些，很多地方基本是复用的 一、per-job模式提交命令 ./bin/flink run -m ya
【Flink】yarn集群模式
Chain的博客
08-24 915
Linux - export 命令的生命周期 : 断开会话后 export 的环境变量不生效；支持会话级别的新增、删除和修改环境变量，用作之后的程序使用，仅仅用作此次会话期间；flink系列 转载自作者：Z尽际链接：https://www.jianshu.com/p/f63b7e1e6e09来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
Flink on Zeppelin 系列之：Yarn Application 模式支持
Ververica的博客
04-29 863
作者：章剑锋（简锋）去年 Flink Forward 在讲 Flink on Zeppelin 这个项目的未来时我们谈到了对Application 模式的支持，今天就有一个好消息要告诉大家...
iceberg-flink-1.13-runtime-7f10407.jar
12-01
flink-1.13.2 iceberg0.13
【回顾】flink1.12+作业以per-job模式部署在yarn-cluster的异常，flink日志配置及webui日志输出，重启作业后checkpoint恢复
yxluojiecpp的博客
09-12 1480
flink作业yarn部署遇到的异常 flink日志配置webui日志输出 重启flink作业后checkpoint恢复
flink启动命令分析
杜海的博客
10-14 3389
flink启动命令分析 1. flink启动命令的固定格式 ./flink <ACTION> [OPTIONS] [ARGUMENTS] 2 <ACTION>种类 run 编译和运行一个程序。 run-application 在应用模式下运行一个应用程序 info 显示程序的优化执行计划（JSON）。 list 列出正在运行的和计划中的程序。 stop 用一个保存点停止一个正在运行的程序（只限于流式工作）。 cancel 取消一个正在运行的程序 savepoi
Flink 命令行参数介绍
半吊子Kyle的博客
09-17 5183
Flink 命令行参数介绍Job Lifecycle Management ｜ Job 生命周期管理Flink Run Command | flink run 命令参数选项Flink Run Command | 通用的参数选项Flink Run Command | yarn-cluster modeSubmitting a Job | 提交一个任务 参考文档： Flink Command-Line - 命令行中的配置 Flink 提供了一个命令行界面 (CLI) bin/flink 来运行打包为 JAR
Flink Yarn Per Job - RM启动SlotManager
hyunbar的博客
08-04 408
创建Yarn的ResourceManager的客户端，并且初始化和启动。创建yarn的 NodeManager的客户端，并且初始化和启动。启动心跳服务：TaskManager、JobMaster。启动心跳服务：TaskManager、JobMaster。创建了Yarn的RM和NM的客户端，初始化并启动。通过选举服务，启动ResourceManager。创建了Yarn的RM和NM的客户端。启动slotManager。启动SlotManager。启动slotManager。...
Flink源码学习一 客户端提交yarn-job任务源码处理 1.17分支
weixin_47019045的博客
09-30 1020
flink -h调用的shell脚本位于flink bin目录下的flink脚本执行。去到脚本最后一行，可以看到实际是启用了一个java程序可以看到shell脚本实际调用的是org.apache.flink.client.cli.CliFrontend这个类的main方式执行程序。
关于Flink命令的参数说明
Kruskual的博客
01-19 1711
英文好，理解强的同学请看官方解释。 觉得麻烦的同学，请先阅读文末笔者的笔记。 官方解释如下： [yuaf@hadoop32 flink-yarn]$ bin/flink --help ./flink <ACTION> [OPTIONS] [ARGUMENTS] The following actions are available: Action "run" compiles and runs a program. Syntax: run [OPTIONS] <jar-file&
flink-1.11 Application 模式
yuchuanchen的专栏
07-27 5637
1. 背景 flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。 2. 优势 Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。 Per-Job模式：每个作业单独启动集群，隔离性好，JM 负载均衡，main 方法在客户端执行。 通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行
Flink Yarn Per Job - Yarn应用
hyunbar的博客
08-01 1185
决定后面什么类型的执行器提交任务yarn-session、yarn-per-job。是否指定为per-job模式，即指定”-myarn-cluster”;是否存在flink在yarn的appID，即yarn-session模式是否启动。executor的名字为“yarn-session”或“yarn-per-job”Generic、Yarn、Default三种命令行客户端。依次是Generic、Yarn、Default。匹配一个“-”的参数或者两个“–”的参数。...
【Flink源码篇】Flink提交流程之flink命令自定义参数的解析和命令行客户端的选择
Bulut0907
09-08 1355
.....省略部分......try {// 进行CliFrontend客户端的实例化// 安全模块的安装// 进行flink自定义参数的解析，并进行application的提交}......省略部分......}}// 进行客户端的文件系统初始化。Flink的文件系统采用了插件的方式，以支持不同的文件系统// 添加zookeeperNamespace、jobmanager、-D传递的参数的key和value到customCommandLineOptions。
【Flink源码篇】Flink提交流程之flink-conf.yaml的解析和3种flink命令行客户端的添加
Bulut0907
09-07 1992
上篇，我们讲解了EnvironmentInformation.logEnvironmentInfo函数。主要是log4j2日志框架如何绑定到Flink、log4j2配置文件和日志路径的定义这篇我们来讲解Flink的flink-conf.yaml和flink命令自定义参数解析。
Flink教程（03）- Flink环境搭建
阿甘兄
03-05 2852
文章目录01 引言02 Local本地单机模式2.1 工作原理2.2 安装部署2.3 测试验证03 Standalone独立集群模式3.1 工作原理3.2 安装部署3.3 测试验证04 Standalone-HA高可用集群模式4.1 工作原理4.2 安装部署4.3 测试验证05 Flink On Yarn模式5.1 使用Yarn优势5.2 工作原理5.3 两种方式5.3.1 Session模式5.3.2 Per-Job模式5.4 安装部署5.5 测试验证5.5.1 Session模式5.5.2 Per-
cdh flink-1.13
最新发布
11-23
cdh flink-1.13是Cloudera Data Hub中集成的一个版本，它是针对实时流处理和批处理的开源框架Apache Flink的一个版本。Apache Flink是一个高性能、可伸缩的流处理框架，可以处理大规模的数据，并提供了丰富的API和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值