Hadoop的MR程序中map的个数

1）map的个数是由输入所分成的split的个数决定的，有多少个split，就会有多少个map任务。

2）split由两个因素决定：一个是文件数量，一个是文件大小。
一般情况下，Hadoop为每一个文件或文件的一部分分配一个map任务。如果文件小于要split的size，该文件就对应一个map；如果文件大于要split的size，该文件就会对应多个map。所以，一般来说，文件数量越多，map越多；文件越大，map越多。

3）split的size
这个size由三个变量来决定：
split size = max(minSize, min(maxSize, blockSize))
minSize是mapreduce.input.fileinputformat.split.minsize属性的值，默认值是0；
maxSize是mapreduce.input.fileinputformat.split.maxsize属性的值，默认值是Long.MAX_VALUE；
blockSize是dfs.blocksize属性的值，默认值是128M。
所以，split size通常就是blockSize。
要改变split的数量，通常就是改变blockSize。如果blockSize不动，要减少split数量，就需要增大minSize，让其比blockSize大。但这一般来说没有什么好处，因为这样，一个mapper处理多个block的数据，这些数据可能就不是本地的了。要增加split的数量，就需要减小maxSize，让它比blockSize小。通常这也没什么好处，因为启用大量的mapper，每个mapper只处理很少的数据，也不能提高处理效率。

4）大量小文件
Hadoop更适合来处理小量的大文件，而不是大量的小文件。
（1）hadoop为大量的明显小于blockSize的文件创建若干map，相比只创建几个处理blockSize数据的map，执行效率会更低；
（2）存储大量的小文件需要耗用大量的namenode的内存，这是一种浪费；
（3）MR在以磁盘的传输速率工作时，效果达到最好。大量的小文件增加了在运行一个job时的查找次数。
所以，尽量避免大量小文件。可用序列化文件把若干小文件合并到一个大文件中。若是已经存在了大量小文件，可使用CombineFileInputFormat来改善MR的运行效率。

5）CombineFileInputFormat
CombineFileInputFormat会把多个小文件打包成一个split交给mapper来处理。而且它在打包时会考虑node和rack的本地性，所以，对MR job的执行效率不会有不利影响。CombineFileInputFormat对大文件也有用，它能把一个node上的多个block打包成一个split。主要是，它把一个map可以处理的数据量跟blockSize解耦了。
Hadoop有一个缺省实现： org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat
使用时：job.setInputFormatClass(CombineTextInputFormat.class);

6）避免splitting
有时候，我们需要一个文件只能由一个mapper来处理，不能让多个mapper同时处理一个文件。这时就需要避免split。有两种实现方法：
（1）增大上面所说的split的minSize，让它比最大的文件还要大。直接设置为Long.MAX_VALUE，就达到效果了；
（2）对你想用的FileInputFormat创建一个子类，在子类中重载isSplitable()方法，让其返回false。