Spark中宽依赖、shuffle、join之间的关系

这是一个有意思的问题。

准确来说只有宽依赖===>shuffle，也就是如果发生了宽依赖那么就一定发生了shuffle过程。其余的都没有直接联系。

1.发生宽依赖就一定会伴随着shuffle。

2.发生shuffle不一定产生宽依赖

比如一个RDD在不断的做join的过程。这个过程中每个RDD都使用了相同的分区器内部是基于cogroup的shuffle操作但是它的整个过程在同一个Stage里面。如下图：

3.发生join不一定发生shuffle

3.1比如说笛卡尔积（这个第一次听说还是挺反常的），它不需要key的聚合操作，它没有任何计算的过程整个流程直接无脑链接。底层直接使用迭代器O(m*n)的复杂度带走。

3.2比如说map join，底层使用广播变量加map集合直接在内存中去连接与判断。

3.3在join之前做一次group by，或者使用相同的分区器进行一次分区然后再去join这时join不会发生shuffle。

4.发生shuffle不一定发生join，这个嘛sortByKey。

5.推论，join不一定产生宽依赖。

6.推论，宽依赖不一定join。

 

到此完毕！最后，感谢老袁和我一起探索这个问题。