一、Spark在某种程度上可以说是对Map/Reduce计算引擎的替换或补充,因为Spark在Map/Reduce并不擅长的迭代计算等方面有很大优势,此外,spark还是一个基于DAG任务规划的先进计算引擎。
二、Map/Reduce计算引擎在计算的各个过程中产生的中间数据不能有效共享,而Spark通过创造性的引入RDD(Resilient Distributed DataSet)弹性分布式数据集的逻辑概念可以很容易的实现中间数据共享。
三、RDD代表一个被分区的数据集,一个分区也就是一个数据块,本质上分区(partition)和数据块(block)是等价的:分区是一个逻辑上的概念,而数据块则是物理上的存储实体。
四、RDD优先位置(prdferredLocations)会影响该RDD的所有分区的存储位置,分区的存储位置会对分布式计算产生影响,因为spark遵循“移动数据不如移动计算”的理念,在RDD上的所有运算都是基于分区的。在RDD上可以实现的计算操作有:转化操作、控制操作(control operation)、动作操作(action operation)等。
五、RDD之间存在依赖关系,每一个对RDD的转换操作都会产生一个新的RDD,类似于RDMS中,对表进行笛卡尔集合运算时都会产生一个临时的中间表。但是RDD没必要随时都被实例化,只要记录下作用在RDD上的转换操作,即可构建出RDD之间的继承关系(lineage),在RDD丢失或操作失败时可以随时被重建。
六、RDD可以灵活的持久化。spark不仅提供了各种关于持久化的选项,还支持例如shuffle数据持久化,内存/磁盘缓存等中间数据的持久化。
七、spark可以应用于以下三种场景中:
(1)批数据处理
(2)基于历史数据的交互式查询:例如spark生态系统中有基于spark的shark SQL交互式查询框架,对hive的SQL扩展,以及在spark 1.0之后版本中提供的原生spark SQL。
(3)实时数据流处理:例如基于spark的spark streaming流数据处理框架。
八、spark还提供了用于图计算的GraphX框架,用于机器学习的算法库MLlib,用于数据共享的内存文件系统Tachyon等。