spak学习----窗口函数参数理解

spak学习—-窗口函数

Spark Streaming提供了窗口计算(window computations)的功能，允许我们每隔一段时间(sliding duration)对过去一个时间段内(window duration)的数据进行转换操作(tranformation).

1. slideDruation AND windowDuration

   slideDruation控制着窗口计算的频度，windowDuration控制着窗口计算的时间跨度。slideDruation和windowDuration都必须是batchInterval的整数倍。假想如下一种场景：
   windowDuration=3*batchInterval，
   slideDuration=10*batchInterval,
   表示的含义是每个10个时间间隔对之前的3个RDD进行统计计算，也意味着有7个RDD没在window窗口的统计范围内。slideDuration的默认值是batchInterval

2. batchInterval

   这个参数用来设置Spark Streaming里Stream Receiver生成Block的时间间隔，默认为200ms。