Hadoop Job 中 Map 与 Reduce 数量控制

在Hadoop 中提交的job 时常需要对其运行时的map task 和reduce task数量进行控制，reduce的数量可以通过setNumReduceTasks() 函数简单设置，但map task 数量并不简单由 setNumMapTasks() 控制。

具体会影响到map task 数量的因素(参数)有：
blockSize: HDFS block大小，默认为64MB
totalSize: 所有输入文件的总大小
splitSize: 每个Split的大小
numSplits: org.apache.hadoop.mapred.JobConf.setNumMapTasks(int n)设置
goalSize: 输入总大小与numSplits的比值，即期望每个Mapper处理的数据量
mapred.max.split.size参数，默认为long型最大值
mapred.min.split.size参数，默认为0(byte)

以下为计算方式：
minSize = max{min{totalSize/numSplits, blockSize}, mapred.min.split.size}
splitSize = max{minSize, min{maxSize, blockSize}}
mapNum ≈ totalSize/splitSize

由此可以找到通过minSize， maxSize，numSplits 参数控制map 的数量精确计算

Reference:
http://blog.csdn.net/strongerbit/article/details/7440111