spark shuffle详解

在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑。

Shuffle

Shuffle是MapReduce框架中的一个特定的phase，介于Map phase和Reduce phase之间，当Map的输出结果要被Reduce使用时，输出结果需要按key哈希，并且分发到每一个Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。

下面这幅图清晰地描述了MapReduce算法的整个流程，其中shuffle phase是介于Map phase和Reduce phase之间。

概念上shuffle就是一个沟通数据连接的桥梁，那么实际上shuffle（partition）这一部分是如何实现的的呢，下面我们就以Spark为例讲一下shuffle在Spark中的实现

Spark shffle流程

• 首先每一个Mapper会根据Reducer的数量创建出相应的bucket，bucket的数量是M×RM×R，其中MM是Map的个数，RR是Reduce的个数。
• 其次Mapper产生的结果会根据设置的partition算法填充到每个bucket中去。这里的partition算法是可以自定义的，当然默认的算法是根据key哈希到不同的bucket中去。
• 当Reducer启动时，它会根据自己task的id和所依赖的Mapper的id从远端或是本地的block manager中取得相应的bucket作为Reducer的输入进行处理。
  这里的bucket是一个抽象概念，在实现中每个bucket可以对应一个文件，可以对应文件的一部分或是其他等。

Apache Spark 的 Shuffle 过程与 Apache Hadoop 的 Shuffle 过程有着诸多类似，一些概念可直接套用，例如，Shuffle 过程中，提供数据的一端，被称作 Map 端，Map 端每个生成数据的任务称为 Mapper，对应的，接收数据的一端，被称作 Reduce 端，Reduce 端每个拉取数据的任务称为 Reducer，Shuffle 过程本质上都是将 Map 端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程。

shuffle分为两个stage完成，因为这其实是个逆向的过程，不是stage决定shuffle而是shuffle决定stage
比如reduceByKey(+),在某个action触发job的时候，DAGScheduler会负责划分job为多个stage。划分的依据是，如果发现有会触发shuffle操作的算子，就讲这个操作的前半部分，以及之前所有的RDD和transformation操作划分为一个stage,Shffle操作的后半部分，以及action为止的RDD和transformation操作，划分为另一个stage

每个shuffle的前半部分的stage的task(Shuffle前半部分task在写入数据到磁盘文件之前，会首先写入一个内存缓冲区，内存缓冲区满了之后，再讲数据写入到磁盘),每个task都会创建下一个stage的task数量相同的文件，比如下一个stage会有100个task，那么当前stagetask会创建100分文件，会将同一个key对应的value写入下一个stage同一个task对应的文件中。

shuffle的后半部分stage的task，每个task都会从各个节点的task写的属于自己的那一份文件拉去key，value对，然后task会有一个内存缓冲，然后会用HashMap进行key，values的汇聚