flink(6) 时间语义和水位线watermark

最新推荐文章于 2023-03-08 19:18:14 发布

a724952091

最新推荐文章于 2023-03-08 19:18:14 发布

阅读量348

点赞数

文章标签： flink

本文链接：https://blog.csdn.net/a724952091/article/details/106926228

版权

本文详细介绍了Flink中时间语义的三种类型：Event Time、Ingestion Time和Processing Time，并重点讲解了Event Time下处理乱序数据的关键机制——Watermark。Watermark是一种衡量Event Time进展的机制，用于处理延迟数据，确保窗口计算的正确性。文中还讨论了Watermark的特点、生成方式以及多分区情况下的处理，并提到了如何自定义Watermark策略，包括周期性和打点式生成。此外，文章还提及了allowedLateness方法在处理迟到数据中的作用。

摘要由CSDN通过智能技术生成

时间（Time）语义

Event Time ：事件创建的时间

lngestion Time :数据进入Flink的时间

Processing Time ：执行操作算子的本地系统时间，与机器相关

设置时间语义

首先设置全局时间语义

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

其次指定当前数据里的时间戳是哪个字段

.assignAscendingTimestamps() 括号里要求的字段是毫秒级别时间戳

  val dataStream = inputDataStream.map(data => {
      val dataArray = data.split(",")
      SensorReading(dataArray(0), dataArray(1).toLong, dataArray(2).toDouble)
    })
.assignAscendingTimestamps(_.timestamp *1000L)

当flink 以event time 模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子

由于网络，分布式等原因会导致乱序数据的产生

涉及到延迟数据来的晚如果窗口已经关闭了就无法处理了

解决方案 watermark

waterMark（水位线