MapReduce 的深入了解，深入浅出，面试必备（Hadoop的三部曲——中）

1. MapReduce 介绍

MapReduce的思想核心是分而治之 。
所谓分而治之就是把一个复杂的问题按一定的分解方法分为规模较小的若干部分，然后逐个解决。

Map负责分	即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系
Reduce负责合	即对map阶段的结果进行全局汇总

2. MapReduce 基本原理

工作流程分为3个阶段：map、shuffle、reduce

2.1 map阶段：

1. 第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认情况下，Split size = Block size。每一个切片由一个MapTask处理。（getSplits）
2. 第二阶段：对切片中的数据按照一定的规则解析成<key,value>对。默认规则是把每一行文本内容解析成键值对。key是每一行的起始位置(单位是字节)，value是本行的文本内容。（TextInputFormat）
3. 第三阶段：调用Mapper类中的map方法。对上阶段中每解析出来的一个<k,v>，调用一次map方法。
4. 第四阶段：按照一定的规则对第三阶段输出的键值对进行分区，默认只有一个分区。分区的数量就是Reducer任务运行的数量，默认只有一个Reducer任务。
5. 第五阶段：对每个分区中的键值对进行排序。首先，按照k进行排序，对于k相同的键值对，按照v进行排序。比如三个键值对<2,2>、<1,3>、<2,1>。那么排序后的结果是<1,3>、<2,1>、<2,2>。如果有第六阶段，那么进入第六阶段；如果没有，直接写入到磁盘中。
6. 第六阶段：对数据进行局部聚合处理，也就是combiner处理。键相等的键值对会调用一次reduce方法。经过这一阶段，数据量会减少，本阶段默认是没有的。

2.2 reduce阶段：

1. 第一阶段：Reducer任务会主动从Mapper任务读取其输出的键值对。Mapper任务可能会有很多，因此Reducer会读取多个Mapper的输出。
2. 第二阶段：把读取到Reducer本地数据，全部进行合并，即把分散的数据合并成一个大的数据。再对最终合并后的数据排序。
3. 第三阶段是对排序后的键值对调用reduce方法。key相等的键值对调用一次reduce方法，最后把这些输出的键值对写入到HDFS文件中。

2.3 shuffle阶段：

map 阶段处理的数据如何传递给 reduce阶段，是 MapReduce框架中最关键的一个流程，这个流程就叫 shuffle。
Shuffle是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。shuffle 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce阶段。一般把从 Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shuffle。

Map端Shuffle

1. Collect 阶段：将 MapTask 的结果输出到默认大小为 100M 的环形缓冲区，保存的是 key/value，Partition 分区信息等。
2. Spill 阶段：当内存中的数据量达到一定的阀值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序（快排）的操作，如果配置了 combiner，还会将有相同分区号和 key 的数据进行排序。
3. Merge 阶段：把所有溢出的临时文件进行一次合并操作（归并），以确保一个MapTask 最终只产生一个中间数据文件。

Reducer端shuffle

4. Copy 阶段： ReduceTask 启动 Fetcher 线程到已经完成 MapTask 的节点上复制一份属于自己的数据，这些数据默认会保存在内存的缓冲区中，当内存的缓冲区达到一定的阀值的时候，就会将数据写到磁盘之上。
5. Merge 阶段：在 ReduceTask 远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。
6. Sort 阶段：在对数据进行合并的同时，会进行排序（归并）操作，由于 MapTask阶段已经对数据进行了局部的排序，ReduceTask 只需保证 Copy 的数据的最终整体有效性即可。

Shuffle 中的缓冲区大小会影响到 mapreduce 程序的执行效率，原则上说，缓冲区越大，磁盘 io 的次数越少，执行速度就越快。Shuffle也是MapReduce被诟病最多的地方，Shuffle中频繁的涉及到数据在内存和磁盘的多次往返，导致MapReduce相较于Spark和Flink引擎速度慢。

3. MapReduce 阶段的详细介绍

MapReduce的完整过程如下：

1. 输入目录下文件按一定标准进行逻辑切片
2. Map阶段：把数据解析成<key,value>键值对
3. Collect阶段：按一定规则对map的输出进行分区后写入内存(环形缓冲区)
4. Spill阶段：当环形缓冲区数据达到阈值时，会写入本地磁盘，写入过程中不同分区会根据kv进行一次排序（快排）
5. Combiner阶段：根据Combine规则在Spill阶段进行一次局部规约，规约后再进行排序
6. Merge阶段：把所有Spill阶段产生的临时文件进行一次合并（归并）并进行kv排序，确保每个MapTask最终只有一个数据文件。
7. Combiner阶段：根据Combiner规则再对Merge阶段进行一次全局规约，最后再进行排序。
8. Copy阶段：ReduceTask 启动Fetcher线程通过httpget请求方式，从MapTask的节点复制，并写入内存(环形缓存区)
9. Spill阶段：当环形缓冲区数据达到阈值时，会写入本地磁盘，写入过程中不排序！
10. Combiner阶段：根据Combine规则在Spill阶段进行一次局部规约，规约后不进行排序！
11. Merge阶段：该阶段有3种形式：内存到内存；内存到磁盘；磁盘到磁盘。第一种形式默认不启动。第二种形式当发生溢写的时候就会启动，而且会一直运行，直到没有map端数据才停止。第三种形式只有等第二种形式停止后才启动，生成最终的文件。
12. Sort阶段：磁盘到磁盘的合并时，会根据kv进行排序（归并）。
13. Reduce阶段：键相等的键值对形成一组进行一次reduce方法调用。
14. 输出结果到指定目录文件

4. MapReduce的一些知识点

4.1 MapTask切片机制

由于文件在HDFS上进行存储的时候，物理上会进行分块存储，可能会导致文件内容的完整性被破坏。为了避免这个问题，在实际读取split数据的时候，每个maptask会进行读取行为的调整。

1. 每个maptask都多处理下一个split的第一行数据；
2. 除了第一个，每个maptask都舍去自己的第一行数据不处理。
   
   当切完一个切片后，剩余的文件大小不足split size的1/10，则会把剩下的整合到该切片。

4.2 MapTask的并行度

MapTask的并行度指的是map阶段有多少个并行的task共同处理任务，它影响到整个job的处理速度。
MapTask并行度的决定机制叫做逻辑规划，该机制由FileInputFormat类的getSplits方法完成。
客户端提交job之前会对待处理数据进行逻辑切片，形成逻辑规划文件，每个逻辑切片最终对应启动一个maptask。

4.3 ReduceTask并行度机制

Reducetask并行度同样影响整个job的执行并发度和执行效率，与maptask的并发数由切片数决定不同，Reducetask数量的决定是可以直接手动设置。 job.setNumReduceTasks(N);
注意Reducetask数量并不是任意设置，还要考虑业务逻辑需求，如果数据分布不均匀，有可能在reduce阶段产生数据倾斜。

4.4 环形缓冲区(Circular buffer)