Flink的运行架构（一）

学习一个组件之前，最总要的就是要了解这个组件的运行框架
我们来看看flink计算引擎的运行框架

Flink 运行时的组件

Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）。
因为Flink 是用Java 和Scala 实现的，所以所有组件都会运行在Java 虚拟机上。每个组件的职责如下：

• 作业管理器（JobManager）：控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR 包。JobManager 会把JobGraph 转换成一个物理层面的数据流图，这个图被叫做“执行图”（ExecutionGraph），包含了所有可以并发执行的任务JobManager 会向资源管理器（ResourceManager）请求执行任务必要的资源，也就是任务管理器（TaskManager）上的插槽（slot）。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的TaskManager 上。而在运行过程中，JobManager 会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。

  说人话：JobManger就好比工地上的具体负责某一块的总工程师，负责把设计师设计的屏幕图具体成一个三位立体图，然后按照任务需求来向仓库申请资源然后安排手下的工人具体实现，并且协调木工,外架工,钢筋工,砼工,普工,瓦工,安装工,电焊工,油漆工,打磨工,水电工,起重工等等的工作使之最快的完成这个具体的任务

• 资源管理器（ResourceManager）：主要负责管理任务管理器（TaskManager）的插槽（slot）（slot:是Flink 中定义的处理资源的最小单元）。当JobManager 申请插槽资源时，ResourceManager会将有空闲插槽的TaskManager 分配给JobManager。如果ResourceManager 没有足够的插槽来满足JobManager 的请求，它还可以向资源提供平台发起会话（YARN、Mesos、K8s，以及standalone 部署等等），以提供启动TaskManager进程的容器。另外，ResourceManager 还负责终止空闲的TaskManager，释放计算资源。

说人话：ResourceManager就是仓库管理员，负责分配各种工程所需要的资源，如果资源不够还能向其他第三方仓库去申请资源以供使用，当然如果资源申请过多有空闲是要收回的！

• 任务管理器（TaskManager）：每个TaskManager中会有多个slot，多个TaskManager可以并行运行，并且，一个TaskManager 可以跟其它运行同一应用程
  序的TaskManager 交换数据。

  说人话：TaskManager就是工地上各式各样劳动工人的合集

• 分发器（Dispatcher）：可以跨作业运行，它为应用提交提供了REST 接口。当一个应用被提交执行时，分发器就会启动并将应用移交给一个JobManager。由于是REST 接口，所以Dispatcher 可以作为集群的一个HTTP 接入点，这样就能够不受防火墙阻挡。Dispatcher 也会启动一个Web UI，用来方便地展示和监控作业执行的信息。Dispatcher 在架构中可能并不是必需的，这取决于应 用提交运行的方式。

说人话：两个功能：1.把JobManager转到另一个JobManager
2.flinkWeb UI监控界面

任务提交流程

• 普通提交
  
• yarn模式提交
  

TaskManager 和 Slots

并行度与solt

• 为了控制一个 TaskManager 能接收多少个 task， TaskManager 通过 task slot 来进行控制（一个 TaskManager 至少有一个 slot）
  
• Flink 中每一个 TaskManager 都是一个JVM进程，它可能会在独立的线程上执行一个或多个子任务。一个特定算子的子任务（subtask）的个数被称之为其并行度（parallelism）。 一般情况下，一个 stream 的并行度，可以认为就是其所有算子中最大的并行度。
  

slot共享

• 默认情况下，Flink 允许子任务共享 slot，即使它们是不同任务的子任务。 这样
  的结果是，一个 slot 可以保存作业的整个管道。
• Task Slot 是静态的概念，是指 TaskManager 具有的并发执行能力
  
  本文转载于我的个人博客Flink的运行架构（一）
  遵循 CC 4.0 BY-SA 版权协议