spark读书笔记

一、Spark在某种程度上可以说是对Map/Reduce计算引擎的替换或补充，因为Spark在Map/Reduce并不擅长的迭代计算等方面有很大优势，此外，spark还是一个基于DAG任务规划的先进计算引擎。

二、Map/Reduce计算引擎在计算的各个过程中产生的中间数据不能有效共享，而Spark通过创造性的引入RDD（Resilient Distributed DataSet）弹性分布式数据集的逻辑概念可以很容易的实现中间数据共享。

三、RDD代表一个被分区的数据集，一个分区也就是一个数据块，本质上分区（partition）和数据块（block）是等价的：分区是一个逻辑上的概念，而数据块则是物理上的存储实体。

四、RDD优先位置（prdferredLocations）会影响该RDD的所有分区的存储位置，分区的存储位置会对分布式计算产生影响，因为spark遵循“移动数据不如移动计算”的理念，在RDD上的所有运算都是基于分区的。在RDD上可以实现的计算操作有：转化操作、控制操作（control operation）、动作操作（action operation）等。

五、RDD之间存在依赖关系，每一个对RDD的转换操作都会产生一个新的RDD，类似于RDMS中，对表进行笛卡尔集合运算时都会产生一个临时的中间表。但是RDD没必要随时都被实例化，只要记录下作用在RDD上的转换操作，即可构建出RDD之间的继承关系（lineage），在RDD丢失或操作失败时可以随时被重建。

六、RDD可以灵活的持久化。spark不仅提供了各种关于持久化的选项，还支持例如shuffle数据持久化，内存/磁盘缓存等中间数据的持久化。

七、spark可以应用于以下三种场景中：

（1）批数据处理

（2）基于历史数据的交互式查询：例如spark生态系统中有基于spark的shark SQL交互式查询框架，对hive的SQL扩展，以及在spark 1.0之后版本中提供的原生spark SQL。

（3）实时数据流处理：例如基于spark的spark streaming流数据处理框架。

八、spark还提供了用于图计算的GraphX框架，用于机器学习的算法库MLlib，用于数据共享的内存文件系统Tachyon等。