MapReduce过程中的优化

1.增大环形缓冲区的容量（默认100M）或者提高溢写的阈值，可以减少溢写到磁盘的次数。
2.增大每次归并的文件个数（默认为10个），可以减少归并的次数。
3.归并的过程中，可以对数据进行合并，前提是合并操作不会影响最终的业务逻辑。
4.为了减少磁盘IO可以对数据进行压缩，可以进行压缩的地方有map输入、map输出、reduce输出。
map输入需求：支持切片（LZO、BZIP2）
map输出需求：快（snappy）
reduce输出需求：若永久保存则压缩率高（gzip），若输出数据作为下一个map输入则需要支持切片。
5.提高reduce拉取文件个数（默认为5个），可以减少拉取的次数。
6.增大ReduceTask节点存储拉取文件的内存。