1. 事件时间语义
2. 处理时间语义
3. 系统时间语义
4. 只有当时间语义是事件时间语义的时候才需要watermark,因为用事件时间语义,flink没有watermark是没有办法推进时间的
5. watermark是单调递增的推荐时间的一种标记,他也是一种数据,在数据流中行走,以推进各个算子的时间
6. 核心机制是产生watermark的源头端周期性的在数据流中插入一种时间标记,下游的watmark是根据上游的watermark生成的
7. 源端的产生刚开始是一个负的最大值,定时器每200ms会输出一个负的最大值,当数据到来,去询问maxtimestamp和自己手里的水位线大小,选择最大的数据,当有数据到来的时候,分成了两条路,数据会调用onevent方法去选择最大的时间戳,然后数据就继续往下游走。而定时器等到再一次触发的时候,他会得到当前最大的时间戳然后向下传递,那么,数据和水位线的传递不是异步的,只是数据和水位线来的先后顺序不一样。数据驱动时间的推进,题中应有之义就是水位线的更新应该在数据之后。
8. 下游的水位线的产生是这样的,当数据流经prosses算子的时候,算子会判断这是一个什么类型的数据,如果是水位线类型的数据,就会选择出最大的数据作为当前的水位线向下游传递,如果是数据类型就会经过算子的处理逻辑,继续向下运行,水位线是推动事件事件的。
9. 水位线和窗口的结合。
水位线大于等于窗口的最大值就会触发计算,如果水位线设置了乱序程度,那么