Mapreduce 优化策略

优化策略

• 优化Map和Reducer数量。
• 输入，大文件优于小文件。
• 减少网络传输（尤其是shuffle阶段）：压缩或combiner

设置相关参数。

map端：

Map输出并非简单输出到磁盘，而是缓冲的方式写入内存并做预排序。当缓冲区满了则刷入磁盘。 缓冲区占用内存空间的大小，此处可以调优
Mapreduce.task.io.sort.mb 设置缓冲区大小mapreduce.map.sort.spill.percent设置缓冲区写数据百分比
Map缓冲区每刷一次磁盘，产生一个溢出文件。Map输出结束后，所有溢出文件会被合并为一个已分区且已排序的 输出文件。
mapreduce.task.io.sort.factor
控制合并线程的数量
将压缩后的map结果输出可以减少磁盘写入 量和网络传输量。
Mapreduce.map.output.compress
对map输出结果做压缩，数据占用存储空间减小，网络传输减少

Reduce端：

只要有一个map任务完成，reduce便开始复制其输出，reduce有少量的线程做复制。复制完所有map输出后，reduce便会进入合 并阶段。合并后的数据作为reduce输入。
Mapreduce.reduce.shuffle.parallelcopies
控制从map端拷贝数据的线程数量

Combiner

集群上最紧俏的资源便是网络带宽，因此尽量减少map和reduce阶段的网络传输对MapReduce的性能提升是很重要的。
Hadoop为map任务的输出指