flink watermark理解

一、watermark三个特点

1、是一条通过自定义函数生成的特殊数据记录，直接插入到数据流中的。

2、必须单调递增，因为watermark是用来表示系统语义上的时间，既然是时间，那么就必须递增。

对于乱序数据，怎么做到单调递增？

很简单，就是一直把已有的watermark与新生成watermark的取最大值返回。

3、watermark与数据时间相关，是通过数据流中的数据时间产生的。

 

二、理解watermark

watermark是一个插入到数据流中的记录(自己写函数生成)，生成的watermark通常是对时间戳的包装(即系统语义时间)。

作用：提示根据watermark判断窗口的桶是否触发关闭。

比如窗口时间间隔是5，那么会存在0~5、6~10、11~15等桶。

0~5的桶会把数据中时间在0~5之间的数据放入该桶。但桶的关闭是通过watermark的时间来判断，当watermark的时间大于5时，那么0~5这个桶（窗口）就会关闭，触发窗口聚合函数等操作。如果watermark一直小于5，0~5的桶就一直不会关闭，那么在桶未关闭的时候，数据流中数据的时间如果在0~5之间，那么这些数据就会放入0~5的桶中，直到watermark大于5触发0~5的桶关闭聚合操作为止。

 

所以，如果我们在定义生成watermark的函数中，如果把每次生成的watermark是由当前记录的时间减去n得到的，那么就会使得每个桶多等待n的时间，如果在这多等待的n时间内，还有属于0~5时间的数据过来，那么还会放入0~5这个桶中。（如果来的数据不是0~5的，那自然是去到他该进入的桶中）

 

注意，watermark只与窗口关窗先关时间进行比较，至于窗口开窗时间，还是以eventTime的时间来开启的