spark的原理

spark是一个微批处理的计算框架。基于内存的计算框架

注意：不是实时计算框架。因为spark处理的数据是一定时间内的数据。你可以把这个时间设置的很小很小。例如1s。

举个例子：大家都做过电梯或者扶梯。扶梯就是实时的--strom。电梯就是微实时的，它是一定的时间后，成批次的传送人--spark

spark的底层是RDD（分布式数据集）。

RDD有五个主要的特性：

一：RDD是有一系列的partition组成。

二：计算是作用在每一个partition上的

三：RDD之间有相互依赖的关系（子RDD可以通过父RDD转换而得到）

四：分区器是作用在K，V格式的RDD上

五：计算向数据移动 / 数据本地化（在发送每一个task之前，都会调用一个父RDD的getPrefferedLocations方法，获得每一个partition的位置，把task发送到数据所在的节点上）