Flink笔记+源码阅读（时间、窗口）

Watermark

水位线的产生

一个时间戳为9点整的数据到来，当前任务的时钟就已经是9点了；处理完当前数据要发送到下游，如果下游任务是一个窗口计算，并行度为3，那么接收到这个数据的子任务，时钟也会进展到9点，9点结束的窗口就可以关闭进行计算了；而另外两个并行子任务则时间没有变化，不能进行窗口计算。
所以我们应该把时钟也以数据的形式传递出去，告诉下游任务当前时间的进展；而且这个时钟的传递不会因为窗口聚合之类的运算而停滞。一种简单的想法是，在数据流中加入一个时钟标记，记录当前的事件时间；这个标记可以直接广播到下游，当下游任务收到这个标记，就可以更新自己的时钟了。由于类似于水流中用来做标志的记号，在Flink中，这种用来衡量事件时间（Event Time）进展的标记，就被称作“水位线”（Watermark）。

一旦水位线到达了算子任务, 那么这个任务就会将它内部的时钟设为这个水位线的时间戳。

为了统一推进事件时间的进展，要求上游任务处理完水位线,时钟改变之后，要把当前的水位线再次发出，广播给所有的下游子任务。这样，后续任务就不需要依赖原始数据中的时间戳（经过转化处理后，数据可能已经改变了），也可以知道当前事件时间了。

对上图解释：
当前任务为每一个分区设置一个“分区水位线”（Partition Watermark）这是一个分区时钟；而当前任务自己的时钟，就是所有分区时钟里最小的那个。
当有新的watermark逐渐从上游传来时，首先对分区时钟进行更新（如果比之前大说明事件有新进展，可以更新），在更新后的新分区选择最小的更新事件时钟（可能不变）。当时钟有进展时，当前任务就会将自己的时钟以水位线的形式，广播给下游所有子任务。

水位线也是数据流中的一个事件，位于水位线前面的数据如果没有处理完毕，那么水位线不可能绕过前面的数据向下游传播，也就是说会被前面的数据阻塞。这样就会影响到下游算子的聚合计算，因为下游算子中无论由窗口聚合还是定时器的操作，都需要水位线才能触发执行。