FLIP-147：支持包含结束任务的 Checkpoint 操作与作业结束流程修正

第一部分

01简介

Flink 可以同时支持有限数据集和无限数据集的分布式处理。在最近几个版本中，Flink 逐步实现了流批一体的 DataStream API 与 Table / SQL API。大部分用户都同时有流处理与批处理的需求，流批一体的开发接口可以帮助这些用户减小开发、运维与保证两类作业处理结果一致性等方面的复杂度， 例如阿里巴巴双十一的场景[1] 。

图1. 流执行模式与批执行模式的对比。以Count算子为例，在流模式下，到达的数据是无序的，算子将会读写与该元素对应的状态并进行增量计算。而在批模式下，算子将首先对数据排序，相同Key的数据将被统一处理。

在流批一体的接口之下，Flink 提供了两种不同的执行模式，即流执行模式与批执行模式。流执行模式下 Flink 基于中间状态增量的处理到达的数据，它可以同时支持有限数据与无限数据的处理。批执行模式则是基于按拓扑序依次执行作业中的所有任务，并通过预先对数据进行排序来避免对状态的随机访问，因此它只能用于有限数据的处理，但是一般情况下可以取得更好的性能。虽然许多场景下用户直接采用批处理模式来处理有限数据集，但是也存在许多场景用户仍然依赖流处理模式来处理有限数据集。例如，用户可能想要使用 SQL 的 Retraction 功能或者用户可能依赖于流模式下数据近似按时间有序的性质（例如 Kappa+ 架构[2] )。此外，许多用户需要执行同时包括无限数据流与有限维表的作业，这类作业也必须采用流执行模式。