MapReduce(八): MapReduce文件切割算法

a)             从设置的“mapred.input.dir”参数中获取任务的输入路径，输入路径需要是在hdfs文件系统上的文件，可以设置多个输入路径。获取输入路径后，向文件系统获取所有输入路径下的文件。

b)             然后计算所有文件的总大小totalSize

c)             从“mapred.map.tasks”配置参数中获取map的任务个数，这个参数值可以通过配置文件设置，也可以用代码设置，这只是一个临时map任务个数，分割完成后会根据计算出来最终分割的文件总数覆盖该参数的值。获取的任务个数为numSplits。

d)             根据文件总大小totalSize和map任务个数numSplits，计算每个任务的目标文件大小goalSize。

      

e)             根据文件的目标分割大小goalSize、通过配置文件或代码设置的参数“mapred.min.split.size” minSize、以及文件的blockSize计算最终文件的分割大小splitSize。blockSize是hdfs文件系统的一个大文件分割成多个block存储在不同的datanode上，blockSize就是每个block的大小。splitSize不小于minSize以及不大于blockSize。如果map任务的文件分割大小splitSize超过blockSize，那么每个map任务可能需要跨多个datanode获取文件，会导致额外增加网络开销，