通过案例对SparkStreaming透彻理解三板之二

1.解密Spark Streaming运行机制

2.解密Spark Streaming架构

I.Spark Core是基于RDD形成的，RDD之间都会有依赖关系，Spark Streaming在RDD上的时间维度，DStream就是在RDD的基础之上加上了时间维度。DStream就是RDD的模板，随着时间的流逝不断地实例化DStream，以数据进行填充DStream Graph,静态的RDD DAG模板，这个模板就是DStream Graph,

II.基于DStream 的依赖构造成DStream Graph是RDD DAG的模板

Dstream是RDD的模板，随着DStream的依赖关系构成Dstream Graph

III.DStream是逻辑级别，RDD是物理级别

@transient
private[streaming] var generatedRDDs = new HashMap[Time, RDD[T]] ()

Dstrem就是在RDD的基础上加上了时间的维度所以整个SparkStreaming就是时空维度

DStream的compute需要传入一个时间参数，通过时间获取相应的RDD，然后再对RDD进行计算

/** Method that generates a RDD for the given time */ def compute(validTime: Time): Option[RDD[T]]

我们查看SparkStreaming的运行日志，就可以看出和RDD的运行几乎是一致的：

 

动态的job控制器会根据我们设定的时间间隔收集到数据，让静态的Dstream Graph活起来变成RDDGraph

如果数据处理不过来，就可以限流，Spark Streaming在运行的过程中可以动态地调整自己的资源，CPU

备注：

1、DT大数据梦工厂微信公众号DT_Spark 
2、IMF晚8点大数据实战YY直播频道号：68917580
3、新浪微博: http://www.weibo.com/ilovepains