maptask 个数（并行度）决定机制

一个job的map阶段并行度由客户端在提交job时决定

客户端对map阶段并行度的规划基本逻辑为：

• 一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例

• 二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成

  切分规则如下：

  • 1.简单地按照文件的内容长度进行切片
  • 2.切片大小默认是datanode的切块大小128M
  • 3.切片时不是考虑一个整体数据集，而是针对每一个文件单独切片
    　　比如待处理数据有两个文件：
    　　 　file1.txt 200M
    　　　file2.txt 50M
    　　经过FileInputFormat的切片机制运算后，形成的切片信息如下：
    　　　file1.txt.split1– 0~128M —–maptask
    　　　file1.txt.split2– 128M~200M —–maptask
    　　　file2.txt.split1– 0~50M —–maptask

• 三、如何改变切片大小（参数设置）
  源码是通过这个方法来规划切片大小的

protected long computeSplitSize(long blockSize, long minSize,
                                  long maxSize) {
    return Math.max(minSize, Math.min(maxSize, blockSize));
  }

    minsize：默认值：1；配置参数： mapreduce.input.fileinputformat.split.minsize   
    maxsize：默认值：Long.MAXValue；  配置参数：mapreduce.input.fileinputformat.split.maxsize
    blocksize：hdfs切片大小

调整切片大小结论：

maxsize（切片最大值）：
　　参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值
minsize （切片最小值）：
　　参数调的比blockSize大，则可以让切片变得比blocksize还大