宽依赖和窄依赖深度剖析 宽依赖和窄依赖的概念: 窄依赖:一个RDD,对其父RDD只有简单的一对一的依赖关系。即父RDD和子RDD的partition的对应关系是一对一的宽依赖:英文名称shuffle dependency本质就是shuffle。也就是说,每个RDD的partition数据都可能有一部分数据传递到下一个RDD的partition中。此时,父RDD和子RDD之间是交互错综复杂的关系,他们之间发生的是shuffle 如下图所示: