MapReduce中Map数量的控制

InputFormat这个类是用来处理Map的输入数据的，任务开始时，InputFormat先将HDFS里所有输入文件里的数据分割成逻辑上的InputSpilt对象

这里的split是HDFS中block的部分或者一整块或几个快中的数据的逻辑分割，一个split对应于一个Map，所以Map的数量是由split的数量决定的。

那么怎样去确定InputSpilt的个数呢，下面列出于split个数相关的配置参数：

numSplits：来自job.getNumMapTasks()，即在job启动时用org.apache.hadoop.mapred.JobConf.setNumMapTasks(int n)设置的值，给M-R框架的Map数量的提示。

minSplitSize：默认为1，可由子类复写函数protected void setMinSplitSize(long minSplitSize) 重新设置。一般情况下，都为1，特殊情况除外。

blockSize：HDFS的块大小，默认为64M，一般大的HDFS都设置成128M。

 

long goalSize = totalSize / (numSplits == 0 ? 1 : numSplits);
long minSize = Math.max(