spark中的宽依赖,与窄依赖的区别

spark中的宽依赖,与窄依赖的区别

在一个程序里面产生宽依赖和窄依赖的RDD是分父RDD和子RDD的,其中父RDD和子RDD是相对而言,
相邻两个RDD处理之前是父RDD,处理之后就是子rdd,具体你用的什么算子产生没有产生shuffle就是会出现宽依赖和窄依赖的现象.

宽依赖

多对多,一对多(父RDD的一个或者多个分区,可能被子RDD多个分区所使用,)

窄依赖

一对一,多对一(父RDD的一个或者多个分区,可能只被子rdd的一个分区使用,)

如果这个依赖已经经历过reduce by key他进行第二次reduce by key 的时候只产生一次shuffle

不能产生shuffle的宽依赖算子:map,filter,union,join,flatmap,mappartitions
能产生shuffle的窄依赖算子:reduceBuKey,grupByKey,combineByKey,sortByKey,join(no copartition)