超级会员免费看
本文通过分析Flink中StatusWatermarkValve的实现，探讨了watermark处理细节，特别是在Kafka作为源，且存在多个分区与并行度不一致的情况下，watermark如何影响窗口触发计算的问题。核心在于理解inputStreamStatus方法中的watermark与StreamStatus处理逻辑。
首先抛出一个问题：
kafka topic下有3个partition，下游consumer为flink job，flink job的并行度为4，如下图
那么window operator的watermark是否会一直很小，导致窗口迟迟不触发计算
理清这个问题需要看flink对watermark的处理，StatusWatermarkValve类嵌入了Watermark和StreamStatus两种元素怎么发送到下游到逻辑，inputStreamStatus方法包含了主要的处理逻辑
public void inputStreamStatus(StreamStatus streamStatus, int channel
订阅专栏 解锁全文
扫一扫
862
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
