31、Spark内核源码深度剖析之宽依赖与窄依赖深度剖析

就wordcount例子来讲解下宽依赖和窄依赖

 

宽依赖和窄依赖深度剖析.png

 

宽依赖(Shuffle Dependency)，就是Shuffle，每一个父RDD的partition中的数据，都可能会传输一部分到下一个RDD的每个partition中，此时就会出现，父RDD和子RDD的partition之间，具有交互错综复杂的关系，那么，这种情况，就叫做两个RDD之间是宽依赖，同时，他们之间发生的操作，是Shuffle

窄依赖(Narrow Dependency)，一个RDD，对它的父RDD，只有简单的一对一依赖关系，也就是说，RDD的每个partition，仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系是一对一的
这种情况下，是简单的RDD之间的依赖关系，也被称之为窄依赖