map和reduce的数量是如何定义的

一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的

goalSize = totalSize / mapred.map.tasks

minSize = max {mapred.min.split.size, minSplitSize}

splitSize = max (minSize, min(goalSize, dfs.block.size))

totalSize是一个JOB的所有map总的输入大小，即Map input bytes。参数mapred.map.tasks的默认值是2，我们可以更改这个参数的值。计算好了goalSize之后还要确定上限和下限。

下限是max {mapred.min.split.size, minSplitSize} 。参数mapred.min.split.size的默认值为1个字节，minSplitSize默认是1。

上限是 dfs.block.size，它的默认值是64兆。

 

一个task的reduce数量，由partition决定。

在输入源是数据库的情况下，比如mysql，对于map的数量需要用户自己指定，比如

jobconf.set("mapred.map.tasks.nums",20)；

如果数据源是HBase的话，map的数量就是该表对应的region数量。