hadoop参数调优(mapred-site.xml)

2019独角兽企业重金招聘Python工程师标准>>>

property	default	description
io.sort.mb	100(mb)	缓存map中间结果的buffer大小
io.sort.record.percent	0.05	io.sort.mb中用来保存map output记录边界的百分比，其他缓存用来保存数据
io.sort.spill.percent	0.8	map开始做spill操作的阈值
io.sort.factor	10	做merge操作时同时操作的stream数上限。
min.num.spill.for.combine	3	combiner函数运行的最小spill数
mapred.compress.map.output	FALSE	map中间结果是否采用压缩
mapred.map.output.compression.codec	org.apache.hadoop.io.compress.DefaultCodec
min.num.spill.for.combine	3	combiner函数运行的最小spill数
mapred.compress.map.output	FALSE	map中间结果是否采用压缩
mapred.map.output.compression.codec	org.apache.hadoop.io.compress.DefaultCodec
mapred.reduce.parallel.copies	5	每个reduce并行下载map结果的最大线程数
mapred.reduce.copy.backoff	300(s)	reduce下载线程最大等待时间
io.sort.factor	10
mapred.job.shuffle.input.buffer.percent	0.7	用来缓存shuffle数据的reduce task heap百分比
mapred.job.shuffle.merge.percent	0.66	缓存的内存中多少百分比后开始做merge操作
mapred.job.reduce.input.buffer.percent	0	ort完成后reduce计算阶段用来缓存数据的百分比

转载于:https://my.oschina.net/figoisxjs/blog/129897