a) 从设置的“mapred.input.dir”参数中获取任务的输入路径,输入路径需要是在hdfs文件系统上的文件,可以设置多个输入路径。获取输入路径后,向文件系统获取所有输入路径下的文件。
b) 然后计算所有文件的总大小totalSize
c) 从“mapred.map.tasks”配置参数中获取map的任务个数,这个参数值可以通过配置文件设置,也可以用代码设置,这只是一个临时map任务个数,分割完成后会根据计算出来最终分割的文件总数覆盖该参数的值。获取的任务个数为numSplits。
d) 根据文件总大小totalSize和map任务个数numSplits,计算每个任务的目标文件大小goalSize。
e) 根据文件的目标分割大小goalSize、通过配置文件或代码设置的参数“mapred.min.split.size” minSize、以及文件的blockSize计算最终文件的分割大小splitSize。blockSize是hdfs文件系统的一个大文件分割成多个block存储在不同的datanode上,blockSize就是每个block的大小。splitSize不小于minSize以及不大于blockSize。如果map任务的文件分割大小splitSize超过blockSize,那么每个map任务可能需要跨多个datanode获取文件,会导致额外增加网络开销,