【Flink入门（2）】Flink运行时架构

【时间】2022.04.26 周二

【题目】【Flink入门（2）】Flink运行时架构

本专栏是尚硅谷Flink课程的笔记与思维导图。

目录

一、运行时组件

1）任务管理器 JobManager

2）任务管理器 Taskmanager

3）资源管理器（ResourceManager）

4）分发器 Dispacher

二、任务提交流程

1）基本任务提交流程

2）例子：Yarn任务提交流程

三、任务调度原理

四、一些细节

1）3个问题

2）TaskManager 和 Slots（相当于进程与线程的关系）

3）程序与数据流（DataFlow）

4）Flink中的图

5）flink中的数据传输形式

6）责任链（Operator Chains）

 五、总的思维导图​​​​​​​

---

​​​​​​​

一、运行时组件

四大组件：

1）任务管理器 JobManager

2）任务管理器 Taskmanager

3）资源管理器（ResourceManager）

4）分发器 Dispacher

二、任务提交流程

1）基本任务提交流程

2）例子：Yarn任务提交流程

三、任务调度原理

四、一些细节

1）3个问题

• 数据流图（并行度）展示：

2）TaskManager 和 Slots（相当于进程与线程的关系）

并行度设置为2，最多需要2个slot，这里用了5个

并行度设置为6

• 通过对算子操作设置slotSharingGroup共享组可设置不同算子在不同slot中执行。
• 这样一个task所需要的slot数目为：每个组里面算子最大并行度之和
• 一个并行子任务分配slot的例子：

•  例子：不同并行度设置下的slot分配

  

3）程序与数据流（DataFlow）

4）Flink中的图

5）flink中的数据传输形式

6）责任链（Operator Chains）

 

 五、总的思维导图