本文主要探讨Flink中水印（Watermark）的概念，特别是递增时间戳分配器（AscendingTimestampExtractor）。水印用于处理乱序事件，确保数据流的时间顺序。在周期性水印策略中，`AssignerWithPeriodicWatermarks`类扮演关键角色，通过`TimestampsAndPeriodicWatermarksOperator`实现定时触发水印的发送。在打开并分析源码后，发现当超过水印间隔时间，系统会触发发送水印，并重新注册定时器，形成周期发送机制。
1.视界
2.概述
AssignerWithPeriodicWatermarks周期性地分配timestamp和生成watermark(可能依赖于元素或者纯粹基于处理时间)。
watermark产生的事件间隔(每n毫秒)是通过ExecutionConfig.setAutoWatermarkInterval(...)来定义的，每当分配器的getCurrentWatermark()方法呗调用时，如果返回的watermark是非空并且大于上一个watermark的话，一个新的watermark将会被发射。
周期性水印生成的最简单的特殊例子是时间戳被给定的源任务按递增顺序产生，在这种情况下，当前的时间戳永远可以作为水印，因为没有更早的时间戳将到达。
注意:每个并行数据源任务中的timestamp是递增的，这是很必要的，例如：如果指定了一个Kafka分区被一个并行数据源实例读取&#x
订阅专栏 解锁全文
扫一扫
1218
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
