Flink Watermark机制

Watermark机制:
Watermark 是用来触发eventtime窗口的计算。
Watermark是一个时间戳。
每一个消息事件到达时,都有一个针对该事件到达时的一个watermark值。
当watermark值>=窗口结束时间时触发窗口计算。
watermark=当前窗口计算周期内最大的事件时间-最大允许的数据延迟时间或乱序时间(注意:每一个事件到达时,该窗口计算周期内所有已到达的消息事件中都会有一个最大的事件时间)
watermark可以通过改变窗口触发计算时机,来解决一定程度上的数据乱序或延迟到达的问题
当前窗口的最大的事件时间>=窗口结束时间+最大允许的数据延迟时间或乱序时间(当有一条事件时间大于等于窗口结束时间+最大允许的数据延迟时间或乱序时间的消息事件到达后,就立刻触窗口发计算)

实际上就是在原有的窗口结束时间上再多等一个最大允许的数据延迟时间或乱序时间,一旦有事件时间在这个多等时间刻度线后的消息事件到达就立刻触发窗口计算。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值