Flink WaterMark和Lateness的工作原理
一、前言
之前在做业务的时候,对于Flink对事件时间的处理原理进行过源码分析,但当时主要精力在业务上,并没有对flink内部的处理原理进行深入的分析和记录。并且当时对于WaterMark和Lateness的区别,并没有完全吃透,甚至可以说脑子里对这两个概念是一团浆糊,不知道已经有了WaterMark,为什么还要设置Lateness这个东西?因为WaterMark的设置就是为了处理乱序的数据,而Lateness的作用也是为了给乱序数据一个缓冲时间。最近闲来无事,再次深入flink的源码,想把这一块儿东西吃
原创
2020-11-30 17:36:10 ·
472 阅读 ·
0 评论