Flink数据流编程模型

抽象层次

Flink提供不同级别的抽象来开发流处理应用程序和批处理应用程序。

• 最低级抽象只提供有状态流。它 通过Process Function嵌入到DataStream API中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以注册事件时间和处理时间回调，允许程序实现复杂的计算。
• 在实践中，大多数应用程序不需要上述低级抽象，而是针对Core API编程， 如DataStream API（可处理有界流和无界流）和DataSet API（可处理有界数据集）。这些流畅的API提供了用于数据处理的通用构建块，例如各种形式的用户指定的转换，连接，聚合，窗口，状态等。在这些API中处理的数据类型在相应的编程语言中表示为类。
  低级Process Function与DataStream API集成在一起，因此只能对某些操作进行低级抽象。该数据集API提供的有限数据集的其他原语，如循环/迭代。
• 该表API是为中心的声明性DSL表，其可被动态地改变的表（表示流时）。该表API遵循（扩展）关系模型：表有一个模式连接（类似于在关系数据库中的表）和API提供可比的操作，如选择，项目，连接，分组依据，聚合等表API程序以声明方式定义应该执行的逻辑操作，而不是准确指定操作代码的外观。虽然Table API可以通过各种类型的用户定义函数进行扩展，但它的表现力不如Core API，但使用更简洁（编写的代码更少）。此外，Table API程序还会通过优化程序，在执行之前应用优化规则。
  可以在表和DataStream /DataSet之间无缝转换，允许程序混合Table API以及DataStream 和DataSet API。
• Flink提供的最高级抽象是SQL。这种抽象在语义和表达方面类似于Table API，但是将程序表示为SQL查询表达式。在SQL抽象与表API紧密地相互作用，和SQL查询可以通过定义表来执行表API。

程序和数据流

Flink应用程序通过Source创建DataStream对象或DataSet对象，通过转换函数（map（））产生新的DataStream或DataSet对象（不会对原对象产生修改），利用算子（keyBy（）、window（）、apply（））对转换后的对象进行操作，然后通过Sink将结果输出至指定连接器。

通常，程序中的转换与数据流中的运算符之间存在一对一的对应关系。但是，有时一个转换可能包含多个转换运算符。

并行数据流

每个Operator的实例数为并行度（parallelism）。任意两个Operator的并行度之间是独立的。例如，图中Source Operator的并行度是2，而Sink Operator的并行度为1；每个Operator称为一个任务，Operator的每个实例称为子任务（Subtask），子任务这个概念来自其和JVM线程之间的关系。
Stream有一个或多个分区（Partition），Stram有两种模式：

• 直连（One-toOne）模式，即一个实例的输出是另一个实例的输入。在上图中，Source的subtask[1]与map()[1]直接连通，Source的subtask[1]的输出全部传输给map()[1]，并没有被拆分成多个分区。
• 分区（Redistribution）模式，即一个实力的输出被拆分成多个部分传输给多个下级实例。在上图中，一个map()[1]被拆分成两部分分别传输给不同的下级实例。

窗口 window

窗口是将（有界或无界）数据拆分成一个个有限长度数据区间的机制，即在数据集中增加临时处理边界，用于将事件按照时间或其他特征分组分析，其中临时这个定语说明窗口并没有物理地改变数据集。

• 滚动窗口：将时间拆分成固定长度。
• 滑动窗口：按照滑动步长将时间拆分成固定长度。
• 会话窗口：以活动时间间隔为边界，将一系列连续时间拆分到不同的会话中。
  详见 - Flink-DataStream 窗口

时间

当在流程序中引用时间（例如定义窗口）时，可以参考不同的时间概念：

• 事件时间（Event Time）是创建事件的时间。由数据源产生。
• 进入时间（Ingestion Time）记录被Source节点观察时的系统时间。
• 窗口处理时间（Window Processing Time）取自执行Operator的机器的系统时间。
  

有状态的操作

虽然数据流中的许多操作只是一次查看一个单独的事件（例如事件解析器），但某些操作会记住多个事件（例如窗口操作符）的信息。这些操作称为有状态。

状态操作的状态保持在可以被认为是嵌入式键/值存储的状态中。状态被分区并严格地与有状态运营商读取的流一起分发。因此，只有在keyBy（）函数之后才能在键控流上访问键/值状态，并且限制为与当前事件的键相关联的值。对齐流和状态的密钥可确保所有状态更新都是本地操作，从而保证一致性而无需事务开销。此对齐还允许Flink重新分配状态并透明地调整流分区。

容错检查点

检查点是Flink实现exactly-once语义的核心机制，启用检查点机制需具备以下两个条件：

1. 支持时空穿梭的外部数据源，如Kafka、分布式文件系统。
2. 可持久化的外部状态存储，如分布式文件系统。

批量流媒体

Flink执行批处理程序时将其作为流程序的特殊情况，只是其中的流是有界的（有限数量的元素）。数据集在其内部仍视为数据流。因此，上述概念以相同的方式应用于批处理程序，并且它们适用于流程序，除了少数例外：

• 批处理程序的容错不使用检查点。通过完全重放流来进行恢复。这是可能的，因为输入有限。这会使成本更多地用于恢复，但使常规处理更便宜，因为它避免了检查点。
• DataSet API中的有状态操作使用简化的内存/核外数据结构，而不是键/值索引。
• DataSet API引入了特殊的同步（超级步骤）迭代，这些迭代只能在有界流上进行。