Flink中Watermark定时生成源码分析

最新推荐文章于 2024-01-28 15:59:26 发布

pucheung

最新推荐文章于 2024-01-28 15:59:26 发布

阅读量1.5k

点赞数 1

分类专栏： Flink

本文链接：https://blog.csdn.net/u013516966/article/details/104164384/

版权

本文探讨了Flink中Watermark的生成策略，重点分析了周期性生成方式——AssignerWithPeriodicWatermarks，以及BoundedOutOfOrdernessTimestampExtractor的使用。通过assignTimestampsAndWatermarks算子设置watermark，并深入到TimestampsAndPeriodicWatermarksOperator的源码，解释了open、processElement和onProcessingTime方法的工作原理。

摘要由CSDN通过智能技术生成

点击箭头处“蓝色字”，关注我们哦！！

watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerWithPeriodicWatermarks方式，使用方式如下：

//指定为evenTime时间语义
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
//生成watermark的周期
env.getConfig.setAutoWatermarkInterval(watermarkInterval)
//指定方式
dataStream.assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[Element](Time.seconds(allowDealy)) {
   override def extractTimestamp(element: Element): Long = element.dT
  })

BoundedOutOfOrdernessTimestampExtractor 是Flink内置提供的允许乱序最大延时的watermark生成方式，只需要重写其extractTimestamp方法即可。

assignTimestampsAndWatermarks 可以理解为是一个算子转换操作，等同于map/window一样理解，可以为其设置并行度、名称，也是一个transformation/operatorÿ