MapReduce作业调优

 

 

1，map缓冲区内存改大：环形缓冲区越大，溢写次数越少，磁盘 io 的次数越少，执行速度就越快（默认100M，可配置）

2，map输出压缩：减少io（可配置）

3，reduce拉取过来的数据直接存内存，避免落盘，这样合并也能在内存中完成（可配置）

4，Shuffle中的多次磁盘io操作非常消耗性能，一些情况下要避免Shuffle，例如合并小文件，不需要ReduceTask，每次读取文件一个文件后将文件写出，其实也可以用CombineFileInputFormat来处理小文件：

1.设置小文件合并成逻辑切片的大小 , 
//合并文件的大小 byte为单位		
conf.setLong("mapreduce.input.fileinputformat.split.minsize", 1024*2);//2M
2.设置输入类
job.setInputFormatClass(CombineTextInputFormat.class);