区分理解Flink水印延迟与窗口允许延迟的概念

https://blog.csdn.net/weixin_39657249/article/details/111759930
总结

WaterMark 到达之前,窗口在攒数据,不会触发计算。
WaterMark 等于 windowEndTime 时,第一次触发窗口计算。
WaterMark 到达之后,allowlateness之前,如果来了数据,每条数据都会触发窗口计算。
超过了allowlateness之后到达的迟到数据会丢弃。
水印用于解决乱序问题保证数据的完整性。而之所以有allowlateness的出现是因为如果WaterMark 加大会导致窗口计算延迟。WaterMark 设定的时间,是第一次触发窗口计算的时间。allowlateness 表示,WaterMark 触发窗口计算以后,还可以再等多久的迟到数据,每次符合条件的数据到达都会再次触发一次窗口计算。allowlateness 是在 Watermark 基础上再做了一层迟到数据的保证。

eventtime:

1、窗口边界水印+水印延迟时间,触发一次计算
2、窗口+窗口延迟时间,触发更新一次计算

(0,5]窗口
水印延迟时间2s,(0,7]触发
窗口延迟时间2s,(0,9]触发更新

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值