一、粗粒度
spark streaming 接收到实时数据流,把数据按照指定的时间段切成一片片小的数据块,然后把小的数据块传给spark Engine处理。
二、细粒度
程序提交的时候,会在Driver端启动一个Application应用。Application程序里面回启动两个进程:SparkContext,和StreamingContext。spark streaming需要处理数据,也就需要接受数据。Driver会在各个Executor进程中启动Receiver来接受数据。当Receiver从input stream接受数据的时候,spark streaming会先将数据切成小块并且存放到内存中(input blocks in memory)。由于集群的备份机制,集群会将这些小block被分到其他机器上面(replicate blocks)。另外,Executor向Driver端的Application的streaming context汇报这些切块的相关信息(比如说位置等),streaming context根据这些切块信息做成RDD,启动spark应用程序。然后将这些程序提交到各个Executor上面运行就好了。