Flink 流处理概念：Dataflow编程、执行图、并行度、数据传输策略、任务链

---

Dataflow编程

顾名思义，Dataflow程序描述了数据如何在不同操作之间流动。Dataflow程序通常表现为有向无环图（DAG），图中顶点称为算子（Operator），表示计算。而边表示数据依赖关系。

算子是Dataflow程序的基本功能单元，他们从输入获取数据，对其进行计算，然后产生数据并发往输出以供后续处理。而所有Flink程序都由三部分算子组成。

• Source（数据源）：负责获取输入数据。
• Transformation（数据处理）：对数据进行处理加工，通常对应着多个算子。
• Sink（数据汇）：负责输出数据。

Dataflow逻辑图

执行图

类似上图的Dataflow图被称为逻辑图，因为它们表达了高层视角下的计算逻辑。为了执行Dataflow程序，需要将逻辑图转化为物理Dataflow图（执行图），后者会指定程序的执行细节。

在Flink中，执行图按层级顺序分为以下四层

• StreamingGraph
  • 是根据用户通过Stream API编写的代码生成的初始流程图，用于表示程序的拓扑结构。
• JobGraph
  • StreamGraph经过优化后生成了JobGraph，提交给JobManager的数据结构。主要的优化为将多个符合条件的节点链接在一起作为一个节点（任务链Operator Chains）后放在一个作业中执行，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。
• ExecutionGraph
  • JobManager根据JobGraph生成ExecutionGraph，ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。
• 物理执行图
  • JobManager根据ExecutionGraph对任务进行调度后，在各个TaskManager上部署作业后形成的“图”，并不是一个具体的数据结构。

执行图演变流程

并行度

Flink程序的执行具有并行、分布式的特性。

在执行过程中，一个Stream包含一个或多个分区（partition），而每一个算子（operator）可以包含一个或多个子任务（operator subtask），这些子任务中不同的线程、不同的物理机或不同的容器中彼此互不依赖地执行。

一个特定算子的子任务的个数被称之为并行度（paralelism）。一般情况下一个流程序的并行度可以认为就是其所有算子中最大的并行度，一个程序中不同的算子可以具有不同的并行度。

数据传输策略

Stream在算子之间传输数据的形式可以是one-to-one（forwarding）的模式也可以是Redistributing的模式，具体是哪一种需要取决于算子的种类。

• One-to-one
  • Stream维护着分区以及元素的顺序（比如在Source和map operator之间），那意味着map算子的子任务看到的元素的个数以及顺序跟Source算子的子任务生产的元素的个数、顺序相同，map、filter、flatmap等算子都是one-to-one的对应关系。
  • 类似于Spark中的窄依赖。
• Redistributing
  • Stream的分区会发生改变（map()跟keyBy/window之间或者keyBy/windows跟Sink之间）。每一个算子的子任务依据所选择的Transformation发送数据到不同的目标任务。
  • 例如keyBy()基于hashCode重分区、broadcast和rebalance会随机重新分区，这些算子都会引起redistribute过程，而redistribute过程就类似于Spark中的shuffle过程。
  • 类似于Spark中的宽依赖。

任务链

Flink 采用了一种称为任务链的优化技术，可以在特定条件下减少本地通信的开销。为了满足任务链的要求，必须将两个或多个算子设为相同的并行度，并通过**本地转发（local forward）**的方式进行连接。

相同并行度的 one-to-one 操作 （两个条件缺一不可） ，Flink 这样相连的算子链接在一起形成一个 task，原来的算子成为里面的 subtask。每个 task 由一个线程执行。将算子链接成 task 是个有用的优化：它减少线程间切换、缓冲的开销，并且减少延迟的同时增加整体吞吐量。

Task与Operator chains