Flink运行时的组件
作业管理器(JobManager)(Master节点)
• 控制⼀个应⽤程序执⾏的主进程,也就是说,每个应⽤程序都会被⼀个不同的JobManager 所控制执⾏。
• JobManager 会先接收到要执⾏的应⽤程序,这个应⽤程序会包括:作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库和其它资源的JAR包。
• JobManager 会把JobGraph转换成⼀个物理层⾯的数据流图,这个图被叫做“执⾏图” (ExecutionGraph),包含了所有可以并发执⾏的任务。
• JobManager 会向资源管理器(Flink的资源管理器)(ResourceManager)请求执⾏任务必要的资源,也就是任务管理器(TaskManager)(Slave节点)上的任务插槽(slot)。⼀旦它获取到了⾜够的资源,就会将执⾏图(DAG)分发到真正运⾏它们的TaskManager上。⽽在运⾏过程中,JobManager会负责所有需要中央协调的操作,⽐如说检查点(checkpoints)的协调。
任务管理器(TaskManager)(Slave节点)
• Flink中的⼯作进程。通常在Flink中会有多个TaskManager运⾏,每⼀个TaskManager都包含了⼀定数量的插槽(slots)。插槽的数量限制了TaskManager能够执⾏的任务数量。
• 启动之后,TaskManager会向资源管理器注册它的插槽;收到资源管理器的指令后,TaskManager就会将⼀个或者多个插槽提供给JobManager调⽤。JobManager就可以向插槽分配任务(tasks)来执⾏了。
• 在执⾏过程中,⼀个TaskManager可以跟其它运⾏同⼀Flink程序的TaskManager交换数据(⽐如shuffle)。
• 每⼀个任务管理器是⼀个JVM进程,每⼀个插槽是⼀个线程
资源管理器(ResourceManager)
• 主要负责管理任务管理器(TaskManager)的插槽&