Flink内核源码解析系列（四）：加载解析命令的命令行客户端

最新推荐文章于 2022-05-20 20:31:03 发布
最新推荐文章于 2022-05-20 20:31:03 发布
阅读量147 收藏
点赞数
分类专栏： Flink内核源码解读 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/117599275
版权
本文深入解析Flink内核，重点探讨CommandLine的概念，它是用户输入命令的封装。文中详细介绍了loadCustomCommandLines方法如何加载GenericCLI、FlinkYarnSessionCli和DefaultCLI三种命令行客户端，并按顺序解析用户命令行，以确定使用哪个客户端进行解析。
摘要由CSDN通过智能技术生成 
final List<CustomCommandLine> customCommandLines =
                loadCustomCommandLines(configuration, configurationDirectory);

讲解之前，首先讲一下，什么叫做CommandLine？Flink中将用户输入的命令封装成了CommandLine。比如《Fl

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
专栏目录
订阅专栏
【Flink】Flink 1.9 升级 到 flink 1.12.4 报错 flink.client.cli.AbstractCustomCommandLine ＜init＞
九师兄
06-04 254
1.场景1 1.1 概述 我有一个项目是flink 1.9 升级到 flink 1.10 ,升级完毕后，本地能正常运行，然后打包到服务器，yarn运行的时候报错如下 然后我看看相关代码，发现点击进去后，源码中没有引入 然后我手动引入 同时报错 【Flink】Flink 1.9 升级 到 flink 1.12.4 报错 shaded netty4 AbstractChannel AnnotatedConnectException 然后重新打包，上传，进行服务器测试，然后报错 上面操作后，仍然报错，然后.
Flink 1.13 源码解析——Flink 作业提交流程 上
EdwardWang_的博客
09-07 1971
Flink 1.13 源码解析 Flink 作业 提交流程
Flink 源码分析之 Client 端启动流程分析
JasonLee实时计算
05-20 290
抛出问题首先来思考一个问题，我们在提交 Flink 任务的时候，在 Flink 客户端执行了下面的命令后，Flink 客户端做了哪些事情？又是怎么执行我们自己写的代码？相信读完这篇文章你就能找到答案。flinkrun-d-myarn-cluster\ -Dyarn.application.name=FlinkStreamingNewDemoHome\ -Dyarn.applicatio...
Flink任务提交源码阅读（二）：入口类CliFrontend
TRX的博客
11-19 4280
接着上一章的内容，今天继续阅读Flink1.9.0任务提交源码的入口类：org.apache.flink.client.cli.CliFrontend 上篇文章：Flink1.9.0任务提交源码阅读（一）：flink脚本 1.入口类逻辑 从main()开始，直接上代码 /** Submits the job based on the arguments. */ public static ...
Flink提交任务（总篇）——执行逻辑整体分析
hxcaifly的博客
02-21 1万+
Flink客户端提交任务执行的逻辑分析 针对Flink1.7-release版本 前言 Flink的源码体系比较庞大，一头扎进去，很容易一头雾水，不知道从哪部分代码看起。但是如果结合我们的业务开发，有针对性地去跟进源码去发现问题，理解源码里的执行细节，效果会更好。 笔者在近期的Flink开发过程中，因为产品的原因，只允许部署Flink standalone模式，出于性能考虑，很有必要对其性能做下测...
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6195
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
Flink内核源码解析系列（五）：解析并通过执行用户的命令来执行用户jar中的main方法
打工日常
06-05 308
上一篇文章讲到了加载三种命令行客户端《Flink内核源码解析系列（四）：加载解析命令的命令行客户端》 这篇文章来讲解析用户的命令，并执行。 org.apache.flink.client.cli.CliFrontend#main: try { final CliFrontend cli = new CliFrontend(configuration, customCommandLines); SecurityUtils.install(new Securit
消息中间件之二：kafka详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-02 633
概述 Kafka是一种分布式的，基于发布/订阅的消息系统。 整理中……
BAT 大厂Java 面试题集锦之核心篇附参考答案
热门推荐
程序员光剑
11-05 1万+
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...
清空application中panel中控件_flink教程-详解flink 1.11中的新部署模式-Application模式...
weixin_39578674的博客
11-28 173
背景session模式per job模式per job模式的问题引入application模式通过程序提交任务Application模式源码解析入口执行具体的操作runApplication方法构造ClusterDescriptorDeploy Application ClusterApplicationClusterEntryPoint背景目前对于flink来说，生产环境一般有两个部署模式，一个...
【Flink源码系列】Flink 源码分析之 Client 端启动流程分析
JasonLee实时计算
05-20 2236
抛出问题首先来思考一个问题，我们在提交 Flink 任务的时候，在 Flink 客户端执行了下面的命令后，Flink 客户端做了哪些事情？又是怎么执行我们自己写的代码？相信读完这篇文章你就能找到答案。flinkrun-d-myarn-cluster\ -Dyarn.application.name=FlinkStreamingNewDemoHome\ -Dya...
flink on yarn启动流程分析
tjq980303的博客
07-01 621
本文主要分析提交一个flink on yarn的任务的流程，以job模式为例子 CliFront作为提交命令行的入口 一个命令行runJob的整体调用链路如下 run -> runProgram -> executeProgram -> ClusterClient.run 其中yarn相关的流程就在runProgram方法中 // 获取激活的customCommandLine final CustomCommandLine<?> customCommandLine =
Flink源码解析(从CliFrontend提交开始)-第一期
Airy的博客
04-27 3186
序言 经过一段时间对于flink学习且画了一些源码流程相关的图，决定开一个flink源码分析的专栏，该专栏以flink on yarn的 Per-job模式为基础，基于flink1.12.0，以官方SocketWindowWordCount例子来分析一个任务从提交到运行的流程源码分析。那么话不多，直接开始吧。 首先我们正常情况下，在该模式下的提交flink任务的脚本入下： flink run -t yarn-per-job -c org.apache.flink.streaming.example.
flink源码解读--2 入口类CliFrontend
peidezhi的专栏
01-21 933
参考文章：https://blog.csdn.net/weixin_43161811/article/details/103151644 从上篇文章，我们知道，flink脚本提交后，由CliFrontend main开始执行。 /** Submits the job based on the arguments. */ public static void main(final...
Flink源码篇 No.1-任务提交之入口及参数解析（per-job on yarn）
pezynd的专栏
10-07 1109
第1章 简介 本篇文章以一次任务提交为主线，介绍Flink源码中，任务是如何提交的。以下内容基于yarn以per-job模式为例。源码版本Apache Flink 1.12。 第2章 详细步骤 2.1 flink run 提交作业 我们已flink命令提交job为入口，开始了解源码。通常我们使用flink提交作业时，在命令行输入如下命令： bin/flink run -t yarn-per-job /.../***.jar ... 查看flink脚本文件，此脚本文件最后exec就是作业提交
flink教程-详解flink 1.11中的新部署模式-Application模式
公众号[大数据技术与应用实战]，分享大数据实战案例
07-22 6974
目前对于flink来说，生产环境一般有两个部署模式，一个是 session模式，一个是per job模式。session模式共享资源，如果一个任务出现了问题，会影响其他的任务，per job模式需要有大量的jar和资源拷贝，并且生成JobGraph都是在本地做的，如果任务多的话，会给服务器造成很大的压力，所以flink引入了application模式。Yarn Application 模式会在客户端将运行任务需要的依赖都上传到 Flink Master，然后在 Master 端进行任务的提交
Flink从入门到放弃之源码解析系列-第1章 Flink组件和逻辑计划
weixin_33898233的博客
02-10 459
&gt;请戳GitHub原文: github.com/wangzhiwubi…本文参考了网上很多博客，大多数博客都是基于1.1.0版本的，已经严重滞后，本系列文章做了很多订正，欢迎大家指正。概要和背景flink是一个被誉为 the 4th G 的计算框架，不同的框架特性及其代表项目列表如下：第一代第二代第三代第四代BatchBatchInteractiveBatch Interactive Nea...
flink源码阅读第一篇—入口
ludongguoa的博客
10-26 570
前序 由于最近接触了flink相关项目，封装flink-table模块，这部分模块应该在flink官方1.9x版本进行发布，截止目前还是beta版本，等待最终的release版本发布。在开发期间，出于工作和兴趣的需求，就阅读了部分源码，阅读源码期间也是阅读了很多博客文章，发下文章写错的也比比皆是呀，哎有时也会误导人。先叙述第一篇总体轮廓篇。该篇总体思路是从flink任务提交开始，从本地提交代码逻辑，到服务端如果接收任务，最后运行的不同分支逻辑。了解这部分逻辑，需要一些基础知识，包括yarn, netty最
深入解析Flink源码：构建数据流处理流程
本文将深入探讨Flink的源码，解析其架构和核心组件，以及项目实施的流程。 在Flink的架构中，主要由以下几个关键部分组成： 1. **Source**：数据的源头，可以是各种类型的数据流，如Socket Stream、Kafka、文件等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值