spark streaming 原理分析 -- 粗细粒度

一、粗粒度

spark streaming 接收到实时数据流，把数据按照指定的时间段切成一片片小的数据块，然后把小的数据块传给spark Engine处理。

二、细粒度

程序提交的时候，会在Driver端启动一个Application应用。Application程序里面回启动两个进程：SparkContext，和StreamingContext。spark streaming需要处理数据，也就需要接受数据。Driver会在各个Executor进程中启动Receiver来接受数据。当Receiver从input stream接受数据的时候，spark streaming会先将数据切成小块并且存放到内存中（input blocks in memory）。由于集群的备份机制，集群会将这些小block被分到其他机器上面（replicate blocks）。另外，Executor向Driver端的Application的streaming context汇报这些切块的相关信息（比如说位置等），streaming context根据这些切块信息做成RDD，启动spark应用程序。然后将这些程序提交到各个Executor上面运行就好了。