如何基于MapReduce做Hadoop的优化的？

1. HDFS 小文件影响

(1) 元数据层面：每个小文件都有一份元数据，其中包括文件路径、文件名、所有者、所属组、权限、创建时间等，这些信息都保存在namenode中。所以，小文件过多，会占据namenode服务器大量的内存，影响namenode的性能和使用寿命；
(2) 计算层面：默认情况下，MR会对每个小文件启动一个map任务计算，非常影响计算性能；同时也影响磁盘寻址时间。

2. 数据输入小文件处理

合并小文件： 对小文件进行归档、自定义 Inputformat 将小文件存储成 SequenceFile 文件；
采用 CombineFileInputFormat 来作为输入，解决输入端大量小文件场景；
对于大量小文件 Job，可以开启JVM 重用

3. Map阶段

增加环形缓冲区大小，由 100m 扩大到 220m；
增加环形缓冲区溢写的比例，由 80% 扩大到 90%；
减少对溢写文件的 merge（合并） 次数。
不影响实际业务的前提下，采用 Combiner 提前合并，减少 IO

4. Reduce阶段

合理设置 Map 和 Reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致 Task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超时等错误；
设置 Map、Reduce 共存：调整 slowstart.completedmaps 参数，使 Map 运行到一定程度后，Reduce 也开始运行，减少 Reduce 的等待时间；
规避使用 Reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗；
增加每个 Reduce 去 Map 中拿数据的并行数；
集群性能可以的前提下，增加 Reduce 端存储数据内存的大小；

5. IO传输

采用数据压缩的方式，减少网络IO的时间；
使用 SequenceFile 二进制文件；

6. 整体

Map Task 默认内存大小为1G，可以增加 Map Task 内存大小为 4；
Reduce Task 默认内存大小为1G，可以增加 Reduce Task 内存大小为 4-5g；
可以增加 Map Task 的 cpu核数，增加 Reduce Task 的CPU核数；
增加每个 Container 的 CPU 核数和内存大小；
调整每个 Map Task 和 Reduce Task 最大重试次数；

7. 压缩
   
   压缩方式为Snappy，特点速度快，缺点无法切分