宽依赖和窄依赖_Spark RDD中的依赖关系：宽依赖和窄依赖narrow/widedependency

前言：前面我们讲过，RDD的转化Transformation操作是一个RDD生成另一个新的RDD的过程，那么新的RDD必然依赖原来的RDD。那么RDD的依赖分为几种，分别是什么含义呢？为什么要分类呢？作用是什么？

先不说概念，看个例子：

请问图(1)和图(2)在对RDD的依赖上有什么区别呢？

(1)filter并不依赖map()生成的RDD的所有分区，也就是说即使map没有全部完成我也可以开始filter，先对(“LYL”,1)map后进行filter，再对(“LYL”,2)map后进行filter，完全没问题。

但是(2)中reduceBykey必须依赖map后生成的所有分区。必须map全部完成我才可以reduceBykey()。不可能单独对(“LYL”,1)进行一个reduceBykey操作吧，这样最后结果肯定是错的啊。

那么这就是两种不同的依赖关系。(1)是窄依赖，(2)是宽依赖。下面进入正题：

(一)窄依赖和宽依赖(narrow/wide dependency)的概念

窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用。1对1或者n对1(简记：独生子女)

宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition 。n对n(简记：超生)

(二)依赖关系的数据流图

解释一下Stage是什么：在Spark中，一段程序实际上构造了一个由相互依赖的多个RDD组成的有向无环图(DAG)。spark会根据RDD之间的依赖关系将DAG图划分为不同的阶段Stage，对于窄依赖，由于partition依赖关系的确定性，partition的转换处理就可以在同一个线程里完成，窄依赖就被spark划分到同一个stage中，如图RDD C、D、E、F它们都在Stage2中，而对于宽依赖，只能等父RDD shuffle处理完成后，下一个stage才能开始接下来的计算，因此宽依赖要单独划分一个Stage,如上图的RDD A。这涉及到Spark的架构原理，具体参考本人的下一篇博客。

(三)区分两种依赖的作用

划分 Stage。Stage 之间做 shuffle，Stage 之内做 pipeline(流水线)。方便stage内优化。

相比宽依赖，窄依赖对优化很有利：

(1)数据的容错性：

假如某个节点出故障了：

窄依赖：只要重算和子RDD分区对应的父RDD分区即可；

宽依赖：极端情况下，所有的父RDD分区都要进行重新计算。

如下图所示，b1分区丢失，则需要重新计算a1,a2和a3，这就产生了冗余计算(a1,a2,a3中对应b2的数据)。

(2)传输

宽依赖往往对应着shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中，通常可以在一个节点内完成转换。