Flink 是流式计算框架。它的程序结构,其实就是定义了一连串的处理操作,每一个数据输入之后都会依次调用每一步计算。在 Flink 代码中,我们定义的每一个处理转换操作都叫作“算子”(Operator)。
所有的 Flink 程序都可以归纳为由三部分构成:Source、Transformation 和 Sink。
⚫ Source 表示“源算子”,负责读取数据源。
⚫ Transformation 表示“转换算子”,利用各种算子进行处理加工。
⚫ Sink 表示“下沉算子”,负责数据的输出。
在运行时,Flink 程序会被映射成所有算子按照逻辑顺序连接在一起的一张图,这被称为“逻辑数据流”(logical dataflow),或者叫“数据流图”(dataflow graph)。在数据流图中,可以清楚地看到 Source、Transformation、Sink 三部分。