Flink Watermark 机制浅析(透彻)

2019独角兽企业重金招聘Python工程师标准>>>

Flink 为实时计算提供了三种时间，即事件时间（event time）、摄入时间（ingestion time）和处理时间（processing time）。在进行 window 计算时，使用摄入时间或处理时间的消息都是以系统的墙上时间（wall clocks）为标准，因此事件都是按序到达的。然而如果使用更为有意义的事件时间则会需要面对乱序事件问题（out-of-order events）和迟到事件问题（late events）。针对这两个问题，Flink 主要采用了以水位线（watermark）为核心的机制来应对。

窗口与水位线

当基于事件时间的数据流进行窗口计算时，最为困难的一点是如何确定对应当前窗口的事件已尽全部到达。比如需要统计最近5分钟打开音乐播放器的用户数，服务端怎么确保聚合计算时已经收集好所有用户最近5分钟的打开播放器日志？事实上不存在能百分百准确判断的方法，因此业界常用的方法是基于已经收集的消息来估算是否还有消息未到达，这就是水位线的思想。