Flink运行架构详细讲解

Flink运行时的组件

作业管理器（JobManager）（Master节点）
• 控制⼀个应⽤程序执⾏的主进程，也就是说，每个应⽤程序都会被⼀个不同的JobManager 所控制执⾏。
• JobManager 会先接收到要执⾏的应⽤程序，这个应⽤程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR包。
• JobManager 会把JobGraph转换成⼀个物理层⾯的数据流图，这个图被叫做“执⾏图” （ExecutionGraph），包含了所有可以并发执⾏的任务。
• JobManager 会向资源管理器（Flink的资源管理器）（ResourceManager）请求执⾏任务必要的资源，也就是任务管理器（TaskManager）（Slave节点）上的任务插槽（slot）。⼀旦它获取到了⾜够的资源，就会将执⾏图（DAG）分发到真正运⾏它们的TaskManager上。⽽在运⾏过程中，JobManager会负责所有需要中央协调的操作，⽐如说检查点（checkpoints）的协调。

任务管理器（TaskManager）（Slave节点）
• Flink中的⼯作进程。通常在Flink中会有多个TaskManager运⾏，每⼀个TaskManager都包含了⼀定数量的插槽（slots）。插槽的数量限制了TaskManager能够执⾏的任务数量。
• 启动之后，TaskManager会向资源管理器注册它的插槽；收到资源管理器的指令后，TaskManager就会将⼀个或者多个插槽提供给JobManager调⽤。JobManager就可以向插槽分配任务（tasks）来执⾏了。
• 在执⾏过程中，⼀个TaskManager可以跟其它运⾏同⼀Flink程序的TaskManager交换数据（⽐如shuffle）。
• 每⼀个任务管理器是⼀个JVM进程，每⼀个插槽是⼀个线程

资源管理器（ResourceManager）
• 主要负责管理任务管理器（TaskManager）的插槽（slot），TaskManager 插槽是Flink中定义的处理资源单元。
• Flink为不同的环境和资源管理⼯具提供了不同资源管理器，⽐如YARN、Mesos、Kubernetes（管理docker容器组成的集群）