Flink1.10任务提交流程分析(一)

Flink任务常见的提交方式通过flink run命令方式提交，如果我们想自己通过API方式实现任务提交，那么就需要了解flink run执行过程，本篇主要透过源码分析其提交流程。(注：基于1.10.1分析)

提交入口

查看bin/flink脚本可以看到提交入口类为：org.apache.flink.client.cli.CliFrontend，传入的参数就是flink 命令后面的参数，查看main方法：

public static void main(final String[] args) {
   EnvironmentInformation.logEnvironmentInfo(LOG, "Command Line Client", args);
   // 1. $FLINK_HOME/conf
   final String configurationDirectory = getConfigurationDirectoryFromEnv();
   // 2. 加载flink-conf.yaml
   final Configuration configuration = GlobalConfiguration.loadConfiguration(configurationDirectory);
   // 3. 初始化所有的提交模式的参数解析器
   final List<CustomCommandLine> customCommandLines = loadCustomCommandLines(
      configuration,
      configurationDirectory);
   try {
     //初始化执行入口
      final CliFrontend cli = new CliFrontend(
         configuration,
         customCommandLines);
      SecurityUtils.install(new SecurityConfiguration(cli.configuration));
      int retCode = SecurityUtils.getInstalledContext()


        //parseParameters 会根据不同的类型：run、info、list、modify等执行不同的流程
            .runSecured(() -> cli.parseParameters(args));
      System.exit(retCode);
   }
   catch (Throwable t) {
      final Throwable strippedThrowable = ExceptionUtils.stripException(t, UndeclaredThrowableException.class);
      LOG.error("Fatal error while running command line interface.", strippedThrowable);
      strippedThrowable.printStackTrace();
      System.exit(31);
   }
}

CustomCommandLine 表示的是一个命令行的参数解析的接口，其实现有FlinkYarnSessionCli、DefaultCLI，FlinkYarnSessionCli解析per-job或者session模式参数，DefaultCLI解析standalone模式参数。程序会根据传入的参数选项选择合适的参数解析器，通过其isActive方法其匹配，然后调用applyCommandLineOptionsToConfiguration解析参数。

RUN流程