Spark11：Spark的shuffle机制分析

一、Spark Shuffle经历的几个过程

在MapReduce框架中，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以shuffle性能的高低也直接决定了整个程序的性能高低。Spark也会有自己的shuffle实现过程。

我们首先来看一下
在Spark中，什么情况下，会发生shuffle？
reduceByKey、groupByKey、sortByKey、countByKey、join等操作都会产生shuffle。

那下面我们来详细分析一下Spark中的shuffle过程。
Spark的shuffle历经了几个过程

Spark 0.8及以前 使用Hash Based Shuffle
Spark 0.8.1 为Hash Based Shuffle引入File Consolidation机制
Spark1.6之后使用Sort-Base Shuffle，因为Hash Based Shuffle存在一些不足所以就把它替换掉了。

所以Spark Shuffle 一共经历了这几个过程：

1、未优化的 Hash Based Shuffle
2、优化后的Hash Based Shuffle
3、Sort-Based Shuffle

1、未优化的Hash Based Shuffle

来看一个图，假设我们是在执行一个reduceByKey之类的操作，此时就会产生shuffle
shuffle里面会有两种task，一种是shuffleMapTask，负责