flink
东纪元
这个作者很懒,什么都没留下…
展开
-
flink 关闭窗口(watermark、allowedLateness允许延迟)
一、watermark介绍在这篇文章https://blog.csdn.net/qq_36951116/article/details/106468171如果只配置了watermark,没有设置allowedLateness。当watermark的时间戳大于等于窗口的结束时间时,会关闭窗口,而且同时还会触发计算输出一次结果(如果1是全量计算则触发,增量的就不用触发了)比如设置了watermark延迟时间为3000毫秒,以窗口0~5000毫秒为例,窗口结束时间为5000毫秒可知waterm原创 2020-06-01 22:00:58 · 2422 阅读 · 0 评论 -
flink watermark理解
一、watermark三个特点1、是一条通过自定义函数生成的特殊数据记录,直接插入到数据流中的。2、必须单调递增,因为watermark是用来表示系统语义上的时间,既然是时间,那么就必须递增。对于乱序数据,怎么做到单调递增?很简单,就是一直把已有的watermark与新生成watermark的取最大值返回。3、watermark与数据时间相关,是通过数据流中的数据时间产生的。二、理解watermarkwatermark是一个插入到数据流中的记录(自己写函数生成),生成的wa.原创 2020-06-01 11:08:22 · 649 阅读 · 0 评论