Shuffle的两种写操作

一、简介

        在Hadoop的MapReduce框架中，Shuffle是连接Map和Reduce之间的桥梁，Map的输出要被使用到Reduce中必须经过Shuffle这个环节。由于Shuffle阶段涉及磁盘的读写和网络传输，因此Shuffle的性能高低直接影响到整个程序的性能和吞吐量。在MapReduce过程中，需要各个节点上的同一类数据汇集到某个节点进行计算，把这些分布在不同节点的数据按照一定的规则聚集到一起的过程称为Shuffle。

二、Shuffle的写操作

1、基于哈希的Shuffle写操作

        在Hadoop中Reduce所处理的数据都是经过排序的，但实际处理中，很多场景并不需要排序，因此在Spark1.0中实现的是基于Hash的Shuffle写操作机制。如下图：

        在该机制中每一个Mapper会根据Reduce的数量创建出相应的bucket（每一个bucket其实就是一个文件），bucket的数量是M*R，其中M表示Map Task的数量，R表示Reduce Task的数量。

        Spark1.0假定大多数情况下，Shuffle的数据排序是不必要的，比如WordCount，强制进行排序只能使性能变