Flink乱序处理测试

一 数据源

def main(args: Array[String]): Unit = {

    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    //设置时间语义  时间发生时间
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
    env.setParallelism(1)


    val socketSource: DataStream[String] = env.socketTextStream("localhost", 7777)

    val mapStream: DataStream[SensorReading] = socketSource
      .map(data => {
        val split: Array[String] = data.split("\\W+")
        SensorReading(split(0).trim, split(1).trim.toLong, split(2).trim.toDouble)
      }).assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[SensorReading](Time.milliseconds(2000)){
      override def extractTimestamp(t: SensorReading): Long = {
        t.ts*1000L

      }
    })

    //针对乱序数据处理得三种方式
    // 1 调整waterMaker水位线   使整体事件时间向后推移 相当于将拨慢时间
    // 2 设置单个窗口的延迟关闭时间   在水位到达后，窗口已经关闭了，但还会再处理延迟时间内的数据
    // 3 设置侧输出流 将乱序较大的数据 放入侧输出流中

    // 三者结合能处理乱序时间，非常快的先计算出一个值，在后续更正成正确的值

    val sideOutPut:OutputTag[SensorReading] = new OutputTag[SensorReading]("side");
    val resStream: DataStream[SensorReading] =mapStream.keyBy(_.id)
      .timeWindow(Time.seconds(10)) // 设置窗口长度 这里使用的是滚动窗口
      .allowedLateness(Time.seconds(5)) // 设置窗口延时关闭时间
      .sideOutputLateData(sideOutPut) // 设置侧输出流
      .minBy("tm")

    resStream.print("res")
    resStream.getSideOutput(sideOutPut).print("side");
    env.execute()


  }

二 测试

sensor_1, 1547718190, 30.80018327300259
sensor_1, 1547718199, 11.80018327300259
sensor_1, 1547718200, 19.80018327300259
sensor_1, 1547718202, 19.80018327300259
sensor_1, 1547718195, 10.80018327300259
sensor_1, 1547718208, 35.80018327300259
sensor_1, 1547718193, 30.80018327300259

结果：

res> SensorReading(sensor_1,1547718199,11.0)
res> SensorReading(sensor_1,1547718195,10.0)
side> SensorReading(sensor_1,1547718193,30.0)

三 总结

• 在时效性和延时之间做平衡，waterMaker，设置的是整体的，相当于将时钟调慢（一般根据数据的特征，及乱序的最大程度设置）
• 窗口的延时时间，表示在水位到达后，先不关闭窗口，再等一会延时的数据。（不适合设置过大，设置过大则会导致窗口不关闭，窗口得不到释放）
• 侧输出流保底，对时延特别大得数据，在不想丢弃的前提下，可以将其放入侧输出流，以便对前面计算的结果进行更正。