问题
正常的flink 作业运行,带窗口的运行,因为上游业务的影响,导致业务恢复后,积累的kafka 数据瞬时涌到flink 程序里,flink 窗口分钟的,导致这一分钟的值非常大。在折线图上展示出来 ,一眼就会发现问题。
目标
即使发生数据累积,也要按事件发生时间,把数据分到应到的窗口里。
解决问题-方案1
要解决上面这个问题,要从三个方面来处理
使用事件时间
也就是窗口TumblingEventTimeWindows,要用这种才按实际的事件时间去分窗口
迟到时间
其实主要是,allowedLateness(Duration.ofMinutes(1)),对于flink 程序来说,其实积累的元素就相当于迟到的元素,只有这个allowedLateness 时间够长,那迟到的元素就能再次触发窗口的计算
输出幂等
如果之前的窗口已经输出,那如果再输出的话就要下游支持幂等操作
解决问题-方案2
直接通过旁路输出把迟到元素输出,然后可以通过离线操作,或者手工把数据补全。