flink运行原理_Flink运行架构介绍

Flink整体架构

运行模式

任务提交流程(yarn模式)

任务调度原理

客户端不是运行时和程序执行的一部分，它用于准备并发送dataflow(JobGraph)给Master(JobManager)，然后，客户端断开连接或者维持连接以等待接收计算结果。

当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager 去执行，然后 TaskManager 将心跳和统计信息汇报给 JobManager。TaskManager 之间以流的形式进行数据的传输。上述三者均为独立的 JVM 进程。

各角色作用：

Client

Client 为提交 Job 的客户端，可以是运行在任何机器上(与 JobManager 环境连通即可)。提交 Job 后，Client 可以结束进程(Streaming的任务)，也可以不结束并等待结果返回。

JobManager

JobManager 主要负责调度 Job 并协调 Task 做 checkpoint，从 Client 处接收到 Job 和 JAR 包等资源后，会生成优化后的执行计划，并以 Task 为单元调度到各个 TaskManager 去执行。

TaskManager

TaskManager 在启动的时候就设置好了槽位数(Slot)，每个 slot 能启动一个 Task，Task 为线程。从 JobManager 处接收需要部署的 Task，部署启动后，与自己的上游建立连接，接收数据并处理。

Slot划分