RDD依赖

1.RDD宽依赖

• 宽依赖：有shuffle的称之为宽依赖，宽依赖是指子RDD的每一个分区都会使用所有父RDD的所有分区或多个分区，即OneToManyDependecies。父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生，这样就不会产生磁盘io的读写，在宽依赖关系中，RDD会根据每条记录的key进行不同分区的数据聚集，数据聚集的过程称作Shuffle，类似MapReduce中的Shuffle过程。举个生活中的例子，4个人一起打牌，打完牌后需要进行洗牌，这4个人相当于4个分区，每个人手里的牌则相当于分区里的数据，洗牌的过程可以理解为Shuffle。因此，Shuffle其实就是不同分区之间的数据聚集或者说数据混洗。Shuffle是一项耗费资源的操作，因为它涉及磁盘I/O、数据序列化和网络I/O。

2.RDD窄依赖

• 窄依赖： 没有shuffle的称之为窄依赖，窄依赖是指父RDD的每一个分区最多被一个子RDD的分区使用，即OneToOneDependencies。父的RDD和子RDD的parition（分区）之间的关系是一对一的，也就是父的RDD的分区parition和子的RDD的分区parition是一对一的，或者是父的RDD的分区parition和子的RDD的分区parition是多对一的，之间不会有shuffle的产生。

3.两种依赖的比较

• 在数据容错方面，窄依赖要优于宽依赖。当子RDD的某一个分区的数据丢失时，若是窄依赖，则只需重算和该分区对应的父RDD分区即可，而宽依赖需要重算父RDD的所有分区。在groupByKey()操作中，若RDD2的分区1丢失，则需要重新计算RDD1的所有分区（分区1、分区2、分区3）才能对其进行恢复。此外，宽依赖在进行Shuffle之前，需要计算好所有父分区的数据，若某个父分区的数据未计算完毕，则需要等待。