Flink1.10任务提交流程分析(一)

王知无(import_bigdata)

已于 2022-03-12 13:16:15 修改

阅读量344

点赞数

分类专栏： Flink系统性学习专栏文章标签：爬虫面试自然语言处理

于 2021-08-28 22:48:29 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/119974635

版权

Flink系统性学习专栏专栏收录该内容

256 篇文章 102 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细分析了Flink 1.10版本的任务提交流程，从提交入口、RUN流程、执行Program流程到Main提交流程和Execute流程。重点探讨了参数解析、执行环境创建及任务提交到Yarn的细节，帮助理解如何通过API实现任务提交。

摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

Flink任务常见的提交方式通过flink run命令方式提交，如果我们想自己通过API方式实现任务提交，那么就需要了解flink run执行过程，本篇主要透过源码分析其提交流程。(注：基于1.10.1分析)

提交入口

查看bin/flink脚本可以看到提交入口类为：org.apache.flink.client.cli.CliFrontend，传入的参数就是flink 命令后面的参数，查看main方法：

public static void main(final String[] args) {
   EnvironmentInformation.logEnvironmentInfo(LOG, "Command Line Client", args);
   // 1. $FLINK_HOME/conf
   final String configurationDirectory = getConfigurationDirectoryFromEnv();
   // 2. 加载flink-conf.yaml
   final Configuration configuration = Global

了解本专栏