Flink on Yarn/K8s原理剖析及实践

目录

 

1. Flink整体架构概览

2. Flink架构概览之--JobManager

3. Flink架构概览之--TaskManager

4. Standalone模式运行架构图

5. Flink运行时相关的主要组件概述

6. Yarn架构原理图

7. Yarn架构原理-交互图

8. Flink on Yarn-Per Job

9. Flink on Yarn-session

10. Yarn模式的优点和缺点

11. 参考资料

---

1. Flink整体架构概览

如下为Flink的架构图，用户可以使用4种方式（DataStream、DataSet等）编写flink任务，这些任务逻辑会生成一个JobGraph。

JobGraph由source、map()、keyBy()/window()和slink等算子组成。

当JobGraph提交给Flink集群后，能够以4种模式运行（Local、Yarn等）

---

 

2. Flink架构概览之--JobManager

JobManager的架构图如下所示，JobManager的主要功能有：

• 将JobGraph转换成Execution Graph，最终将EG拿来运行。
• Task Scheduling组件负责Task的调度。
• Actor System负责与TaskManager通信。
• Checkpoit Coordinator负责协调整个任务（source、算子、sink等）的checkpoint，包括checkpoint的开始和完成。
• Recovery Metadataÿ