1分钟理解Flink中Watermark机制

本文隶属于专栏《董工的1000个大数据技术体系》摘要，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

---

目录

前言

一、watermark是什么？

二、乱序数据处理

三、迟到事件

四、watermark的引入

---

前言

Flink中流处理由事件产生，经过source，再到operator，中间是有一个过程和时间的，虽然都是按事件产生的时间顺序产生的，但是我们也不能排除，网络，背压等问题会导致乱序的产生，如果发生这种情况，我们又不能一直等下去，所以必须要有个机制来保证在一个特定的时间后，必须触发窗口去进行计算了。这个特别的机制，就是水位线(waterark)。

一、watermark是什么？

在Flink中，水位线是一种衡量Event Time进展的机制，用来处理实时数据中的乱序问题的，通常是水位线和窗口结合使用来实现。简单来说 Watermark就是用来触发window计算的

在Flink处理窗口数据的过程中，如果确定数据已经全部到达之后，就可以计算，分组，聚合等操作，如果数据没有全部达到那就继续等待窗口数据全部到达之后才能