2021-07-08

简述SparkStreaming窗口函数的原理（重点）

窗口函数就是在原来定义的SparkStreaming计算批次大小的基础上再次进行封装，每次计算多个批次的数据，同时还需要传递一个滑动步长的参数，用来设置当次计算任务完成之后下一次从什么地方开始计算。

代码示例：

  kafkaStream.transform { rdd =>
      offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges
      rdd}.map(_._2).map((_, 1)).reduceByKeyAndWindow((v1: Int, v2: Int) => {
      v1 + v2
    }, Seconds(8), 
      Seconds(4))

表示每隔4秒(后面的4秒)，计算最近8秒(前面的8秒)的数据。

第一个时间称为窗口长度，第二个时间称为滑动长度，其含义表示每隔4秒计算最近最近8秒的数据。