前言:前面我们讲过,RDD的转化Transformation操作是一个RDD生成另一个新的RDD的过程,那么新的RDD必然依赖原来的RDD。那么RDD的依赖分为几种,分别是什么含义呢?为什么要分类呢?作用是什么?
先不说概念,看个例子:
请问图(1)和图(2)在对RDD的依赖上有什么区别呢?
(1)filter并不依赖map()生成的RDD的所有分区,也就是说即使map没有全部完成我也可以开始filter,先对(“LYL”,1)map后进行filter,再对(“LYL”,2)map后进行filter,完全没问题。
但是(2)中reduceBykey必须依赖map后生成的所有分区。必须map全部完成我才可以reduceBykey()。不可能单独对(“LYL”,1)进行一个reduceBykey操作吧,这样最后结果肯定是错的啊。
那么这就是两种不同的依赖关系。(1)是窄依赖,(2)是宽依赖。下面进入正题:
(一)窄依赖和宽依赖(narrow/wide dependency)的概念
窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用。1对1或者n对1(简记:独生子女)
宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition 。n对n(简记:超生)
(二)依赖关系的数据流图
解释一下Stage是什么:在Spark中,一段程序实际上构造了一个由相互依赖的多个RDD组成的有向无环图(DAG)。spark会根据RDD之间的依赖关系将DAG图划分为不同的阶段Stage,对于窄依赖,由于partition依赖关系的确定性,partition的转换处理就可以在同一个线程里完成,窄依赖就被spark划分到同一个stage中,如图RDD C、D、E、F它们都在Stage2中,而对于宽依赖,只能等父RDD shuffle处理完成后,下一个stage才能开始接下来的计算,因此宽依赖要单独划分一个Stage,如上图的RDD A。这涉及到Spark的架构原理,具体参考本人的下一篇博客。
(三)区分两种依赖的作用
划分 Stage。Stage 之间做 shuffle,Stage 之内做 pipeline(流水线)。方便stage内优化。
相比宽依赖,窄依赖对优化很有利:
(1)数据的容错性:
假如某个节点出故障了:
窄依赖:只要重算和子RDD分区对应的父RDD分区即可;
宽依赖:极端情况下,所有的父RDD分区都要进行重新计算。
如下图所示,b1分区丢失,则需要重新计算a1,a2和a3,这就产生了冗余计算(a1,a2,a3中对应b2的数据)。
(2)传输
宽依赖往往对应着shuffle操作,需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中,中间可能涉及多个节点之间的数据传输;而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中,通常可以在一个节点内完成转换。