Flink运行时架构

flink运行时架构

此文章主要描述flink的运行时架构，包括组件，提交，任务调度等

flink环境安装

https://www.cnblogs.com/linjiqin/p/12425584.html

flink运行时的组件

作业管理器（jobmanager），任务管理器（taskmanager）， 资源管理器（Resource），分发器（Dispacher）

jobmanager

控制一个应用程序执行的主进程，应用程序包括：作业图，逻辑数据流图，和打包了所有类，库和其他资源的jar包

jobmanager会将jobGraph（作业图）转换成一个物理层面的数据流图，叫做执行图（Execution Graph），包含了所有可以并发执行的任务

taskmanager

真正执行的任务的，包含一定数量的插槽（slots），限制了其能够执行的任务数量

每一个taskmanager都是一个jvm进程，在独立的线程上执行一个或多个子任务，slot来控制一个taskmanager可以接受多少个task。slot主要隔离的是内存，推荐值为cpu核数

默认情况下flink允许任务共享slot

taskmanager互相执行期间可以交换数据

修改并行度

优先级由低到高：flink-conf.yaml  -> 启动时./bin/flink -p 2  -> 代码中env设置   ->  单独算子设置并行度

Resource

主要负责管理taskmanager的插槽（slots）

Dispacher

主要为应用提交提供了Rest接口，提供web ui

任务提交流程

standalone模式

 

yarn模式

 

任务调度原理

taskmanager和slots

slot个数选择，只需要考虑并行度最大的算子的并行度，即需要的最小的slot数

程序和数据流（DataFlow）

每个flink程序有source，transformation和sink组成，分别对应读取数据源，处理加工，结果数据输出

flink程序还被映射成dataflow（有向无环图），总是以一个或多个sources开始以一个多个sink结束

执行图

 

并行（parallelism）

数据并行，任务并行，作业并行

flink中的并行度一般说的是数据并行。一个特定算子的子任务的个数被称之为其并行度，一个stream的并行度，可以认为就是其所有算子中最大的并行度。

 

任务链：即flink会在从streamgraph到jobgraph时会进行任务的合并：