DStream与window相关的两个参数是windowDuration和slideDuration 含义

DStream与window相关的两个参数是windowDuration和slideDuration，这两个参数究竟表示什么含义。通过window操作，DStream转换为了WindowedDStream

windowDuration表示的是对过去的一个windowDuration时间间隔的数据进行统计计算， windowDuration是intervalBatch的整数倍，也就是说，假如windowDuration=n*intervalBatch， 那么window操作就是对过去的n个RDD进行统计计算
如下内容来自于Spark Streaming的官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html

 

Spark Streaming也提供了窗口计算(window computations)的功能，允许我们每隔一段时间(sliding duration)对过去一个时间段内(window duration)的数据进行转换操作(tranformation).

slideDruation控制着窗口计算的频度，windowDuration控制着窗口计算的时间跨度。slideDruation和windowDuration都必须是batchInterval的整数倍。假想如下一种场景：

windowDuration=3*batchInterval，

slideDuration=10*batchInterval,

表示的含义是每个10个时间间隔对之前的3个RDD进行统计计算，也意味着有7个RDD没在window窗口的统计范围内。slideDuration的默认值是batchInterval