1. Flink Time中水位线的引入
简介: 针对前面讲解基于事件时间EventTime窗口分析,默认情况下,如果某个窗口触发计算以后,再来一条窗口内的数据,此时不会计算这条数据,而是直接丢弃。
在实际业务数据中,数据乱序到达流处理程序,属于正常现象,原因在于网络延迟
到导致数据延迟,无法避免的,所以应该可以允许数据延迟达到(在某个时间范围内),继续计算
。
比如允许数据最大乱序延迟时间为2秒,那么此时只要符合时间范围乱序时间都会处理,此种机制:Watermark水位线。
什么是watermaker机制: 允许数据乱序到达,在对应窗口中进行计算(延迟时间很短
)
2. Flink Time之Watermaker 是什么
-
1)、Watermark水位线定义:
-
2)、Watermaker 如何计算:
-
3)、Watermaker 有什么用
窗口就可以按照Watermaker来触发计算,也就是说Watermaker是用来触发窗口计算的!
-
4)、Watermaker 如何触发窗口计算