3.Spark Core

Spark是基于弹性分布式数据集（RDD）的模型，具有良好的通用性、容错性与并行处理数据的能力
那么什么是弹性分布式内存呢？内存即使再大也有放不下数据的时候，当达到一定的阈值的时候会写入磁盘，当然这个时候的性能会受到一定的影响

RDD(Resilient Distributed DataSet)

RDD是弹性分布式数据集（类似于集合），它的本质是数据集的描述（只读的，可分区的分布式数据集），而不是数据集本身
在SparkCore中的算子包括TransFormations和Actions，主要包括以下的

关键特征

1.RDD使用户能够显式将计算结果保存在内存中，控制数据的划分，并使用更丰富的操作集合来处理
2.使用更丰富的操作来处理，只读（由一个RDD变换得到另一个RDD，但是不能对本身的RDD修改）
3.记录数据的变换而不是数据本身，保证容错（lineage–>DAG 把RDD的先后顺序记载）

• RDD采用数据应用变换（map，filter，join等），若部分数据丢失，RDD拥有足够的信息得知这部分数据是如何计算得到的，可通过重新计算来得到丢失的数据（窄依赖恢复数据很快）
• 这种恢复数据方法很快，无需大量数据的复制操作，可以认为Spark是基于RDD模型的系统
• 宽依赖恢复数据很慢，需要上游的所有算子重新计算一遍，对于宝贵的数据要做一次缓存备份

4.懒操作：对于spark任务来说，最终的目标是action（save，collect等算子）

5.瞬时性
不包含待处理的数据，真正的数据只有在执行的时候才加载进来，用时才产生，用完就释放

构建

1.从共享文件系统中读取，如从HDFS中读数据构建RDD

//sc即SparkContext入口
val a = sc.textFile(xxx)

2.通过现有RDD转换得到

val b = a.map(x => (x,1))

3.定义一个scala数组

val c = sc.parallelize(1 to 10,1)

4.有一个已经存在的RDD通过持久化操作生成

a.savaAsHadoopFile(xxx)

依赖关系（rddA=>rddB）

1.宽依赖

• B的每个partition依赖于A的所有partition，这是一个shuffle的过程，下游执行必须要上游所有的数据就绪才能执行
• 比如groupByKey，reduceByKey，join等等，由A产生B时会先对A做shuffle分桶

2.窄依赖

• B的每个partition依赖于A的常数个partition
• 比如map，filter等等

细节

1.每个partition的计算就是task，task是调度的基本单位
2.若一个stage包含的其他stage中的任务已经全部完成，这个stage中的任务才会被加入调度
3.遵循数据局部性原则，使得数据传输代价最小

• 如果一个任务需要的数据在某个节点的内存中，这个任务就会被分配至那个节点
• 如果需要的数据在某个节点的文件系统中，聚分配至那个节点（此时的调度指的是：由Spark的AM来决定计算partition的task，分配到哪个executor上）

容错

1.如果此时task失败，AM会重新分配task
2.如果task依赖的上层partition数据已经失效，会先将其依赖的partition计算任务再重算一遍
3.宽依赖中被依赖partition，可以将数据保存HDFS，以便快速重构（checkpoint）

• 窄依赖只依赖上层partition，恢复代价较少
• 宽依赖依赖上层所有partition，如果数据丢失，上层所有partition要重算

4.可以指定保存一个RDD的数据至节点cache，如果内存不够，会LRU释放一部分，仍有重构的可能
5.数据恢复是一个递归的过程，会一直追本溯源，甚至直到最初的输入数据

关于spark的调优内容较多，下一章再详解，敬请期待！