Flink程序与数据流、数据传输与数据链

本文所用图来源网络，侵删

程序与数据流（DataFlow）

• 所有的Flink程序都是由三部分组成的： Source 、 Transformation 和 Sink。

• Source 负责读取数据源， Transformation 利用各种算子进行处理加工， Sink负责输出。

• 在运行时， Flink上运行的程序会被映射成“逻辑数据流”（ dataflows）。

• 每一个dataflow以一个或多个sources开始以一个或多个sinks结束。 dataflow  类似于任意的有向无环图（DAG）

• 在大部分情况下，程序中的转换运算（ transformations）跟dataflow中的算子（ operator）是一一对应的关系。

 

执行图（ExecutionGraph）

由Flink程序直接映射成的数据流图是StreamGraph，也被称为逻辑流图，因为它们表示的是计算逻辑的高级视图。为了执行一个流处理程序，Flink需要将逻辑流图转换为物理数据流图（也叫执行图） ，详细说明程序的执行方式。

• Flink中的执行图可以分成四层：StreamGraph -> JobGraph -&g