Spark分布式计算原理(宽窄依赖，DAG，stage划分，shuffle过程，Spark计算引擎原理)

1、RDD依赖

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。

Lineage：血统、遗传。RDD最重要的特性之一，保存了RDD的依赖关系；RDD实现了基于Lineage的容错机制。

1.1 依赖关系

RDD之间的依赖关系分为窄依赖(narrow dependency)和宽依赖(wide dependency，也称shuffle dependency)。

1.2 窄依赖

窄依赖：一个父RDD的分区被子RDD的一个分区使用。表现为：

• 1个子RDD的分区对应于1个父RDD的分区，比如map，filter，union等算子

• 1个子RDD的分区对应于N个父RDD的分区，比如co-partioned join

1.3 宽依赖

宽依赖：一个父RDD的分区被子RDD的多个分区使用。

• 宽依赖一般是对RDD进行groupByKey，reduceByKey，sortByKey等操作，就是对partition中的数据进行重分区(shuffle)。