map任务数量控制

mapred-site.xml

<property>
               <name>mapred.min.split.size</name>
               <value>94371840</value>
</property>

hdfs-site.xml

<property>
               <name>dfs.block.size</name>
               <value>67108864</value>
</property>

直接配置mapred.job.maps好像不是很管用。

首先通过dfs.block.size设置好块的大小，然后通过mapred.min.split.size来控制分片的大小，分片的个数也就确定了，最终分片的个数就是map任务的个数。在这个过程中，分片的大小只能比块的大小要大，如果分片的大小还要小的话，将不起作用。

如果不设置块的大小，仅仅通过mapred.min.split.size配置，实验结果显示map任务将无法改变。