抽象层次
flink提供不同级别的抽象来开发流/批处理应用程序。
- 最低级抽象只提供有状态流。它通过 Process Function嵌入到DataStream中。它允许用户自由处理来自一个或多个流的事件,并使用一致的容错状态。此外,用户可以注册事件时间和处理时间回调,允许程序实现复杂的计算。
实际上,大多数应用程序不需要上述低级抽象,而是针对Core API编程,如DataStream API(有界/无界流)和DataSet API(有界数据集)。这些流畅的API提供了用于数据处理的通用构建块,例如各种形式的用户指定的转换,连接,聚合,窗口,状态等。在这些API中处理的数据类型在相应的表示为类。
低级Process Function和DataStream API集成,因此只能对某些算子操作进行低级抽象,该数据集API提供的有限数据集的其他原语,如循环/迭代。
该Table API是为中心的声明性DSL表,其可被动态地改变的表(表示流时)。该Table API遵循(扩展)关系模型:表有一个模式连接(类似于在关系数据库中的表)和API提供可比的算子操作,如选择,项目,连接,分组依据,聚合等Table API程序以声明方式定义应该执行的逻辑算子操作,而不是准确指定算子操作代码的外观。虽然Table API可以通过各种类型的用户定义函数进行扩展,但它的表现力不如Core API,但使用更简洁。此外,Table API程序还会通过优化程序,在执行之前应用优化规则。
可以在表和DataStream / DataSet 之间无缝转换,允许程序混合Table API以及DataStream 和 DataSet API。
Flink提供最高级抽象是SQL。这种抽象在语义和表达方面类似于Table API,但是将程序表示为SQL查询表达式。在SQL抽象与Table API紧密地相互作用,和SQL查询可以通过定义表来执行Table API。
程序和数据流
Flink 程序的基本构建块是流和转换。
从概念上将,流是数据记录流,而转换是将一个或多个流作为一个或多个流的算子操作。输入,并产生一个或多个输出流。
执行时,flink程序映射到流数据流,由流和转换算子组成。每个数据流都以一个或多个源开头,并以一个或多个接收器结束。数据流类似于任意有向无环图(DAG)。尽管通过迭代结构允许特殊形式的循环,但为了简单起见,我们将在大多数情况下对此进行掩饰。
通常,程序中的转换与数据流中的算子之间存在一对一的对应关系。但是,有时一个转换可能包含多个转换算子。
并行数据流
Flink中的程序本质上是并行和分布式的。在执行期间,流具有一个或多个流分区,并且每个算子具有一个或多个算子子任务。算子子任务彼此独立,并且可以再不同的线程中执行,并且可能在不同的机器或容器上执行。
算子子任务的数量是该特定算子的并行度。流的并行性始终是其生成算子的并行性。同一程序的不同算子可能具有不同的并行级别。
流可以以一对一(或转发)模式或以重新分发模式在两个算子之间传输数据:
一对一流(例如,在上图中的Source 和 map()算子之间)保存数据元的分区和排序。这意味着map()算子的subtask[1]将以与Source算子的subtask[1]生成的顺序相同的顺序看到数据元。
重新分配流(在上面的map()和keyBy/ window之间,以及keyBy/ window 和 sink之间)重新分配流。每个算子子任务将数据发送到不同的目标子任务,具体取决于所选的转换。实例是keyBy() (其通过三列keys重新分区),广播(),或rebalance()(其重新分区随机地)。在重新分配交换中,数据元之间的排序仅保存在每对发送和接受子任务中(例如,map()的subTask[1]和 subTask[2])。因此,在此示例中,保存了每个Keys内的排序,单并行性却是引入了关于不同keys的聚合结果到达接收器的顺序的非确定性。
窗口
聚合时间(计数、总和)在流上的工作方式和批处理的方式不同。例如,不可能计算流中的所有数据元,因为流通常是无限的(无界)。相反,流上的聚合(计算、总和等)由窗口限定,例如“在最后5分钟内计数”或“最后100数据元的总和”。
windows可以是事件驱动的(例如:30s)或数据驱动的(例如:每100个数据元)。一个典型地区分不同类型的窗口,例如翻滚窗口(没有重叠),滑动窗口(具有重叠)和会话窗口(由不活动的间隙打断)。
时间
当在流程序中引用时间(例如定义窗口)时,可以参考不同的时间概念:
- 事件时间是创建事件的时间。它通常由事件中的时间戳描述,例如由生产传感器或生产服务附加。flink通过时间戳分配器访问事件时间戳。
- 摄取时间是时间源算子处输入flink数据流的时间
- 处理时间是执行基于时间的算子操作的每个算子的本地时间。
有状态的算子操作
虽然数据流中的许多算子操作知识一次查看一个单独的事件,单某些算子操作会记住多个事件的信息。这些算子操作成为有状态。
状态算子操作的状态保持在可以被认为是嵌入式K/V存储状态中。状态被分区并严格地与有状态算子读取的流一起分发。因此,只有在keyBy()函数之后才能在被key化的数据流上访问K/V状态,并且限制为与当前事件的建相关联的值。对齐流和状态的Keys可确保所有状态更新都是本地算子操作。从而保证一致性而无需事物开销。此对齐还允许Flink重新分配状态并透明地调整所流分区。
容错检查点
Flink使用流重放和检查点的组合实现容错。检查点与每个输入流中的特定点以及每个算子的对应状态相关。通过恢复算子的状态并从检查点重放事件,可以从检查点恢复流数据流,同时保持一致性。
检查点间隔是在执行期间用恢复时间(需要重放的事件的数量)来折中容错开销的手段。
流处理批处理
Flink执行批处理程序作为流程序的特殊情况,其中流是有界的(有限数量的数据元)。一个数据集在内部视为数据流。因此,上述概念以相同的方式应用于批处理程序,并且它们适用于流程序,除了少数例外;
- 批处理程序的容错不适用检查点。通过完全重放流来恢复。这是可能的,因为输入有限。这会使成本更多地用于恢复,但使常规处理更便宜,因为它避免了检查点。
- DataSet API中的有状态算子操作使用简化的内存/核外数据结构,而不是K/Vs索引。
- DataSet API引入了特殊的同步(超级步骤)迭代,这些迭代只能在有界流上进行。