窗口函数就是在原来定义的 SparkStreaming 计算批次大小的基础上再次进行封装,每次计算多个批次的数据,同时还需要传递一个滑动步长的参数,用来设置当次计算任务完成之后下一次从什么地方开始计算;
图中 time1 就是 SparkStreaming 计算批次大小,虚线框以及实线大框就是窗口大小,必须为批次的整数倍。虚线框到大实线框的距离(相隔多少批次),就是滑动步长。
简述 SparkStreaming 窗口函数的原理
最新推荐文章于 2023-09-28 22:49:40 发布