SparkStreaming滑动计算窗口reduceByKeyAndWindow图解说明
对于reduceByKeyAndWindow(_ + _, _ - _,Second(45), Second(5))这种算法不太明白的同学可以参考下,下图是通过个人理解所画,希望对大家理解这个函数有所帮助:
首先,说一下需求,就是每隔5秒,计算过去45秒内的X数量。
第一个窗口(第一个45s内,时间点1)里面的X数量是17个,然后时间往后移动了5秒,变成了时间点2。
图中,在时间滑动后,新增了5个...
原创
2019-03-03 10:31:48 ·
584 阅读 ·
0 评论