flink 中的Watermark

最新推荐文章于 2024-06-15 09:36:45 发布

蚂蚁小分队

最新推荐文章于 2024-06-15 09:36:45 发布

阅读量1k

点赞数

分类专栏：大数据面试

本文链接：https://blog.csdn.net/weixin_44715126/article/details/115290751

版权

大数据同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

面试

8 篇文章 0 订阅

订阅专栏

在分布式的计算中，由于网络、服务器间的距离等问题，会导致数据顺序发生错乱，即在处理数据的时候，后发生的数据比先发生的数据更早到达，这对结果的计算会造成误差，这时候就需要引进时间语义。

在flink中，时间语义分为三种。

Event Time：数据产生的时间
Ingestion Time：数据进入flink的时间
Processing Time：数据进入算子的时间

通常 Event Time 使用的更频繁。

以Event Time 为例：

在实际的场景中，如果数据顺序发生了错乱应该怎么处理呢？

最简单的办法就是等待，虽然后发生的数据先到达，但是我们可以等待先发生的数据到来，然后再进行处理，

问题是怎么等，等多久，程序既要保证数据的准确性又要保持实时性。

为了解决这个问题，flink中引入了Watermark机制。

watermark 是专门用作处理乱序数据的，
watermark 用来表示小于某一时间戳的数据已经全部到达，不再继续进行等待。

watermark可以理解为设置了一个延迟时间，

设watermark时间为 t。所有数据中最大的时间按戳为 mt。每次数据到达，程序都会校验当前数据的时间戳和历史数据的最大时间戳。mt - t 可以认为所有小于mt - t 时间戳的数据已经全部到达，程序不再继续等待，对已有的数据进行处理。

假设设置watermark 为 2。时间窗口为5s 即每5s 处理一次数据。假设有4个数据，分别发生在 1、3、5、7 s，到达顺序是 1 5 7 3。

数据 5 到达时，可以认为所有 3 秒（5 - 2）前发生的数据都到达了，当数据 7 到达时，可认为前5s 的数据都到达了，这时候满足了5s 的时间窗口，即对[ 0,5 ) 的一批数据进行处理。

最后 3s发生的数据到达的时候，窗口已经关闭，但是仍可以对 3 进行实时处理。

Watermark 的生成方式又分成两种：

周期性生成AssignerWithPeriodicWatermarks

周期性生成，是指程序根据一定的时间间隔，在数据流中插入一个watermark 对数据进行校验。这种模式下，默认Event Time 类型为200 毫秒

间断性生成，根据数据条数生成AssignerWithPunctuatedWatermarks

间断性生成，是指watermark没有固定的生成时间，根据到达的数据条数，插入到数据流中对数据进行校验。

Watermark在保证实时性的情况下，一定程度上保证了数据的准确性，为了进一步提高数据的准确性， flink中还有侧输出流保证数据的准确性，他允许程序处理迟到数据。

Watermark和侧输出流测试代码：

这里以监听指定端口数据为例，数据格式为 id，timestamp，value

case class Info(id:String, timestamp:Long, value:Double)
def main(args: Array[String]): Unit = {
    val environment = StreamExecutionEnvironment.createLocalEnvironment()
    // 为了方便观察效果，这里并行度设置为1
    environment.setParallelism(1)
    // 设置时间语义类型为事件时间
    environment.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

    val socketStream = environment.socketTextStream("bigdata1", 7777)
    val value: DataStream[Info] = socketStream.map(data => {
      val strings = data.split(",")
      Info(strings(0), strings(1).toLong, strings(2).toDouble)
    })
        // 设置Watermark为3秒，允许数据迟到3s
      .assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[Info](Time.seconds(3)) {
      override def extractTimestamp(element: Info): Long = element.timestamp * 1000L
    })
    val output: DataStream[Info] = value.
      keyBy(_.id)
	  // 设置滑动窗口大小为15s
      .timeWindow(Time.seconds(15))
	  // 设置晚来超过1分钟的数据为迟到数据
	  .allowedLateness(Time.minutes(1))
          // 处理迟到数据
      .sideOutputLateData(new OutputTag[Info]("late")).reduce((oldData,newData) => {
      Info(oldData.id, newData.timestamp, newData.value)
    })
    // 拿到侧输出流，输出迟到的数据    
    output.getSideOutput(new OutputTag[Info]("late")).print("late")
    // 输出正常到达的数据
    output.print("value")

    environment.execute("watermark demo")


  }

时间为005 秒的数据到达时，没有数据输出，意味着目前没有窗口关闭。