关闭

Spark Streaming的WindowedDStream

标签: sparkscalastreamingSparkStreamingjvm
3060人阅读 评论(0) 收藏 举报
分类:

下面我们一起从源代码的角度探究一下,Spark Streaming怎么实现窗口计算的。

Spark Streaming的 窗口操作的类WindowedDStream。

1.构造函数:

从构造函数来看,需要一个父DStream,和windowDuration窗口大小, slideDuration滑动频率

private[streaming]
class WindowedDStream[T: ClassManifest](
    parent: DStream[T],
    _windowDuration: Duration,
    _slideDuration: Duration)
  extends DStream[T](parent.ssc) {

2.检查倍数:

These two parameters must be multiples of the batch interval of the source DStream
这里的parent其实就是原始的DStream,可以这么理解为batch interval 的size

  if (!_windowDuration.isMultipleOf(parent.slideDuration))
    throw new Exception("The window duration of WindowedDStream (" + _slideDuration + ") " +
    "must be multiple of the slide duration of parent DStream (" + parent.slideDuration + ")")

  if (!_slideDuration.isMultipleOf(parent.slideDuration))
    throw new Exception("The slide duration of WindowedDStream (" + _slideDuration + ") " +
    "must be multiple of the slide duration of parent DStream (" + parent.slideDuration + ")")


3.初始化对象

这里设置了存储级别,和与父RDD的依赖关系

  parent.persist(StorageLevel.MEMORY_ONLY_SER) //设置存储级别为内存only

  def windowDuration: Duration =  _windowDuration //setter

  override def dependencies = List(parent)  //这里我们可以清晰的看到,这是一个On-to-One的依赖

  override def slideDuration: Duration = _slideDuration //setter

  override def parentRememberDuration: Duration = rememberDuration + windowDuration


4. Compute

所有的计算逻辑都在compute里,这里是window的实现:

  override def compute(validTime: Time): Option[RDD[T]] = {
    val currentWindow = new Interval(validTime - windowDuration + parent.slideDuration, validTime)
    Some(new UnionRDD(ssc.sc, parent.slice(currentWindow)))
  }

这里其实就是一个UnionRDD,传入的参数有SparkContext和parent根据cuurentWindow来分片的RDD

即 父RDD按照传入的2个参数分片后的数据集合,进行一个Union操作-->合并一个窗口大小的数据集。


总结:

1.检查参数,设置依赖关系。

2.按照输入的参数对父RDD进行分片,然后将一个窗口大小的数据集进行Union操作,用到了UnionRDD。

3.形成最终的WindowedDStream


原创,转载请注明出处http://blog.csdn.net/oopsoom/article/details/23777843

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:481960次
    • 积分:5274
    • 等级:
    • 排名:第5356名
    • 原创:80篇
    • 转载:0篇
    • 译文:1篇
    • 评论:67条
    博客专栏
    微博
    文章分类
    最新评论