MapReduce学习总结（5）-----MapReduce工作机制

1.MapTask 工作机制

如果觉得术语太多的话，建议细看粗体字部分。

(1)**Read 阶段:MapTask 通过 InputFormat（用来读取数据）获得的 RecordReader，从输入 InputSplit 中 解析出一个个 key/value。
(2)Map 阶段:该节点主要是将解析出的 key/value 交给用户编写 map()函数处理**，并 产生一系列新的 key/value。
(3)Collect 收集阶段:在用户编写 map()函数中，当数据处理完成后，一般会调用 OutputCollector.collect()输出结果。在该函数内部，它会将生成的 key/value 分区(调用 Partitioner)，并写入一个环形内存缓冲区中。（分区和排序）
(4)Spill 阶段:即**“溢写”，当环形缓冲区满后，MapReduce 会将数据写到本地磁盘上， 生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作。
(5)Merge 阶段:当所有数据处理完成后，MapTask 对所有临时文件进行一次合并， 以确保最终只会生成一个数据文件，并保存到文件 output/file.out 中，同时生成相应的索引文件 output/file.out.index。
在进行文件合并过程中，MapTask 以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式**。每轮合并 mapreduce.task.io.sort.factor(默认 10)个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。
让每个 MapTask 最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。

2 ReduceTask 工作机制

(1)Copy 阶段:ReduceTask 从各个 MapTask 上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。
(2)Sort 阶段:在远程拷贝数据的同时，ReduceTask 启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。按照 MapReduce 语义，用户编写 reduce()函数输入数据是按 key 进行聚集的一组数据。为了将 key 相同的数据聚在一 起，Hadoop采用了基于排序的策略。由于各个 MapTask 已经实现对自己的处理结果进行了局部排序，因此，ReduceTask 只需对所有数据进行一次归并排序即可。
(3)Reduce 阶段:reduce()函数将计算结果写到 HDFS 上。

3 ReduceTask 并行度决定机制

MapTask 并行度由切片个数决定，切片个数由输入文件和切片规则决定。
ReduceTask 的并行度同样影响整个Job的执行并发度和执行效率，但与 MapTask的并发数由切片数决定不同，ReduceTask数量的决定是可以直接手动设置。
(1)ReduceTask=0，表示没有Reduce阶段，输出文件个数和Map个数一致。
(2)ReduceTask默认值就是1，所以输出文件个数为一个。
(3)如果数据分布不均匀，就有可能在Reduce阶段产生数据倾斜
(4)ReduceTask数量并不是任意设置，还要考虑业务逻辑需求，有些情况下，需要计算全局汇总结果，就只能有1个ReduceTask。
(5)具体多少个ReduceTask，需要根据集群性能而定。
(6)如果分区数不是1，但是ReduceTask为1，是否执行分区过程。答案是:不执行分区过 程。因为在MapTask的源码中，执行分区的前提是先判断ReduceNum个数是否大于1。不大于1 肯定不执行。

4 Join应用

1.Reduce Join
Map 端的主要工作:为来自不同表或文件的 key/value 对，打标签以区别不同来源的记录。然后用连接字段作为 key，其余部分和新加的标志作为 value，最后进行输出。
Reduce 端的主要工作:在 Reduce 端以连接字段作为 key 的分组已经完成，我们只需要**在每一个分组当中将那些来源于不同文件的记录分开，最后进行合并就 ok **。

缺点:这种方式中，合并的操作是在 Reduce 阶段完成，Reduce 端的处理压力太大，Map节点的运算负载则很低，资源利用率不高，且在 Reduce 阶段极易产生数据倾斜。

5 Map Join

Map Join 适用于一张表十分小、一张表很大的场景。（因为要缓存一张表到内存中，如果表太大的话，内存不够用）
在 Map 端缓存多张表，提前处理业务逻辑，这样增加 Map 端业务，减少 Reduce 端数据的压力，尽可能的减少数据倾斜。

具体办法:采用 DistributedCache
(1)在 Mapper 的 setup 阶段，将文件读取到缓存集合中。
(2)在 Driver 驱动类中加载缓存。

6 数据清洗(ETL)

“ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过**抽取 (Extract)、转换(Transform)、加载(Load)**至目的端的过程。
在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行 Mapper 程序，不需要运行 Reduce 程序。

MapReduce 开发总结

1.输入数据接口:InputFormat
(1)默认使用的实现类是:TextInputFormat
(2)TextInputFormat 的功能逻辑是:一次读一行文本，然后将该行的起始偏移量作为key，行内容作为 value 返回。
(3)CombineTextInputFormat 可以把多个小文件合并成一个切片处理，提高处理效率。

2.逻辑处理接口:Mapper
用户根据业务需求实现其中三个方法: setup()初始化、map()用户的业务逻辑、 cleanup ()关闭资源

3.Partitioner 分区
(1)有默认实现 HashPartitioner，逻辑是根据 key 的哈希值和 numReduces 来返回一个分区号;key.hashCode()&Integer.MAXVALUE % numReduces
(2)如果业务上有特别的需求，可以自定义分区。

4.Comparable 排序
(1)当我们用自定义的对象作为 key 来输出时，就必须要实现 WritableComparable 接口，重写其中的 compareTo()方法。
(2)部分排序:对最终输出的每一个文件进行内部排序。
(3)全排序:对所有数据进行排序，通常只有一个 Reduce。
(4)二次排序:排序的条件有两个。

5.Combiner 合并
Combiner 合并可以提高程序执行效率，减少 IO 传输。但是使用时必须不能影响原有的业务处理结果和业务逻辑。

6.逻辑处理接口:Reducer
用户根据业务需求实现其中三个方法: setup()初始化、map()用户的业务逻辑、 cleanup ()关闭资源

7.输出数据接口:OutputFormat
(1)默认实现类是 TextOutputFormat，功能逻辑是:将每一个 KV 对，向目标文本文件输出一行。
(2)用户还可以自定义 OutputFormat。