Flink on Yarn启动流程分析

Flink on Yarn启动流程分析

本章简单介绍一下Flink on Yarn的大体流程，以便更清晰的了解JobManager & TaskManager

---

Flink Cluster on Yarn启动过程中，大体可以分为二个阶段

1. Filnk Client发起请求，申请启动Flink Cluster on Yarn

2. Yarn RM接收请求，并指定NM分配Container启动Flink Cluster

---

Flink Client发起请求

• 安装Flink：只需在一台可以连接至Yarn & HDFS集群的任意节点安装即可
• 启动脚本（命令）：./bin/yarn-session.sh -n {num} -jm {num} -tm {num}
• 运行实例：yarn-session.sh中运行的最后命令是：java … org.apache.flink.yarn.cli.FlinkYarnSessionCli

简单描述FlinkYarnSessionCli的主要内容

1. 根据FLINK_CONF_DIR & （YARN_CONF_DIR | HADOOP_CONF_DIR） load相关配置
2. 创建yarnClient，并申请一个applicationId
3. 将Flink集群运行所需要的Jar & Conf PUT至HDFS上
4. 封装ApplicationMaster启动需要的Env & Cmd至Request对象中，并用yarnClient对象发起请求，等待相应
5. 确认启动成功后，将重要信息封装成properties文件，并