flink的时间语义和watermark

1. 事件时间语义

2. 处理时间语义

3. 系统时间语义

4. 只有当时间语义是事件时间语义的时候才需要watermark,因为用事件时间语义,flink没有watermark是没有办法推进时间的

5. watermark是单调递增的推荐时间的一种标记,他也是一种数据,在数据流中行走,以推进各个算子的时间

6. 核心机制是产生watermark的源头端周期性的在数据流中插入一种时间标记,下游的watmark是根据上游的watermark生成的

7. 源端的产生刚开始是一个负的最大值,定时器每200ms会输出一个负的最大值,当数据到来,去询问maxtimestamp和自己手里的水位线大小,选择最大的数据,当有数据到来的时候,分成了两条路,数据会调用onevent方法去选择最大的时间戳,然后数据就继续往下游走。而定时器等到再一次触发的时候,他会得到当前最大的时间戳然后向下传递,那么,数据和水位线的传递不是异步的,只是数据和水位线来的先后顺序不一样。数据驱动时间的推进,题中应有之义就是水位线的更新应该在数据之后。

8. 下游的水位线的产生是这样的,当数据流经prosses算子的时候,算子会判断这是一个什么类型的数据,如果是水位线类型的数据,就会选择出最大的数据作为当前的水位线向下游传递,如果是数据类型就会经过算子的处理逻辑,继续向下运行,水位线是推动事件事件的。

9. 水位线和窗口的结合。

水位线大于等于窗口的最大值就会触发计算,如果水位线设置了乱序程度,那么

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值