MapReduce的工作流程：map和reduce分别做了哪些工作,以及shuffle机制实现了什么

一、map和reduce分别做了哪些工作

Map:待处理数据分片放入缓冲区，分区、排序、合并、归并，写入本地磁盘。将处理杂乱无章的数据，找出规律，归纳处理。

  (1)读取hdfs上的文件，每个block启动一个maptask，按行读取一个block中的内容。
（2）map函数对数据split拆分，得到数组，组成一个键值对<word,1>
（3）做分区对应多个reduceTask
（4）分区数据，按key分组排序
（5）在map端执行小reduce，一个map中输出<key,times>

Reduce：MoF文件拷贝，缓冲，（归并：数量大）规约，存储。输出。

 (1)每个分区对应一个reduce task，读取（所有map节点上的maptask）相同分区的所有输出
 (2) reduceTask对接受的所有map输出，排序
 (3) 执行reduce，对数据累加
 (4) 输出到hdfs上

二、shuffle机制实现了什么

Map阶段和Reduce阶段之间传递中间数据的过程，Reduce Task从Map Task 获取MOF文件的过程，以及对MOF 的排序与合并处理。（Map方法之后Reduce方法之前这段处理过程叫Shuffle）

     1.Map方法之后：数据首先进入到分区方法，将数据标记好分区，再把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行Combiner操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待Reduce端拉取。
     2.每个Reduce拉取Map端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。在进入Reduce方法前，可以对数据进行分组操作