MapReduce shuffle性能调优

性能调优

如果能够根据情况对shuffle过程进行调优，对于提供MapReduce性能很有帮助。相关的参数配置列在后面的表格中。

一个通用的原则是给shuffle过程分配尽可能大的内存，当然你需要确保map和reduce有足够的内存来运行业务逻辑。因此在实现Mapper和Reducer时，应该尽量减少内存的使用，例如避免在Map中不断地叠加。

运行map和reduce任务的JVM，内存通过mapred.child.java.opts属性来设置，尽可能设大内存。容器的内存大小通过mapreduce.map.memory.mb和mapreduce.reduce.memory.mb来设置，默认都是1024M。

map优化

在map端，避免写入多个spill文件可能达到最好的性能，一个spill文件是最好的。通过估计map的输出大小，设置合理的mapreduce.task.io.sort.*属性，使得spill文件数量最小。例如尽可能调大mapreduce.task.io.sort.mb。

map端相关的属性如下表：

属性名	值类型	默认值	说明
mapreduce.task.io.sort.mb	int	100	用于map输出排序的内存大小
mapreduce.map.sort.spill.percent	float	0.80	开始spill的缓冲池阈值
mapreduce.task.io.sort.factor	int	10	合并文件数最大值，与reduce共用
mapreduce.map.combine.minspills	int	3	运行combiner的最低spill文件数
mapreduce.map.out.compress	boolean	false	输出是否压缩
mapreduce.map.out.compress	类名	DefaultCodec	压缩算法
mapreduce.shuffle.max.threads	int	0	服务于reduce提取结果的线程数量

reduce优化

在reduce端，如果能够让所有数据都保存在内存中，可以达到最佳的性能。通常情况下，内存都保留给reduce函数，但是如果reduce函数对内存需求不是很高，将mapreduce.reduce.merge.inmem.threshold（触发合并的map输出文件数）设为0，mapreduce.reduce.input.buffer.percent（用于保存map输出文件的堆内存比例）设为1.0，可以达到很好的性能提升。

reduce端相关属性：

属性名	值类型	默认值	说明
mapreduce.reduce.shuffle.parallelcopies	int	5	提取map输出的copier线程数
mapreduce.reduce.shuffle.maxfetchfailures	int	10	提取map输出最大尝试次数，超出后报错
mapreduce.task.io.sort.factor	int	10	合并文件数最大值，与map共用
mapreduce.reduce.shuffle.input.buffer.percent	float	0.70	copy阶段用于保存map输出的堆内存比例
mapreduce.reduce.shuffle.merge.percent	float	0.66	开始spill的缓冲池比例阈值
mapreduce.reduce.shuffle.inmem.threshold	int	1000	开始spill的map输出文件数阈值，小于等于0表示没有阈值，此时只由缓冲池比例来控制
mapreduce.reduce.input.buffer.percent	float	0.0	reduce函数开始运行时，内存中的map输出所占的堆内存比例不得高于这个值，默认情况内存都用于reduce函数，也就是map输出都写入到磁盘

通用优化

Hadoop默认使用4KB作为缓冲，这个算是很小的，可以通过io.file.buffer.size来调高缓冲池大小。

参考

• 《Hadoop权威指南》
• https://blog.csdn.net/bingduanlbd/article/details/51933914
• http://ercoppa.github.io/HadoopInternals/AnatomyMapReduceJob.html
• http://www.csdn.net/article/2014-05-19/2819831-TDW-Shuffle/1
• https://hadoopabcd.wordpress.com/2015/06/29/how-mapreduce-works/
• http://grepalex.com/2012/09/24/map-partition-sort-spill/

欢迎关注，更多惊喜等着你