Oeljeklaus的博客

原创 Spark的Shuffle原理(一):HashShuffle

01.HashShuffle相关知识     Spark Shuffle类似于MapReduce的过程，在Spark 的1.0版本以前，Spark采用的是Hash Shuffle，与MapReduce不同的是，Hash Shuffle没有排序过程。Shuffle阶段主要发生在宽依赖阶段，什么是宽依赖呢？     上图中，可以很好的理解宽依赖和窄依赖，对于一般的join、groupByKey...