在Hadoop 中提交的job 时常需要对其运行时的map task 和reduce task数量进行控制,reduce的数量可以通过setNumReduceTasks() 函数简单设置,但map task 数量并不简单由 setNumMapTasks() 控制。
具体会影响到map task 数量的因素(参数)有:
blockSize: HDFS block大小,默认为64MB
totalSize: 所有输入文件的总大小
splitSize: 每个Split的大小
numSplits: org.apache.hadoop.mapred.JobConf.setNumMapTasks(int n)设置
goalSize: 输入总大小与numSplits的比值,即期望每个Mapper处理的数据量
mapred.max.split.size参数,默认为long型最大值
mapred.min.split.size参数,默认为0(byte)
以下为计算方式:
minSize = max{min{totalSize/numSplits, blockSize}, mapred.min.split.size}
splitSize = max{minSize, min{maxSize, blockSize}}
mapNum ≈ totalSize/splitSize
由此可以找到通过minSize, maxSize,numSplits 参数控制map 的数量精确计算
Reference:
http://blog.csdn.net/strongerbit/article/details/7440111