MapReduce的splits切片逻辑源码分析
as we know!我们认知中的splits大小默认与block的大小相同! 即有几个block就会有几个splits,这样真的正确吗?先贴上源码:
如图所示为我们编写的一个mapreduce的driver程序,参考hadoop官网。
当我们进入FileInputFormat类中,发现该类是一个一个继承自FileInput的抽象类
该类中包含一个getsplits方法
返回值是一个InputSplit的List,这就是我们今天重点研究的对象。
先贴上它的全部代码
public List getSplits(JobContext job) throws IOException {
Stopwatch sw = new Stopwatch().start();
long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
long maxSize = getMaxSplitSize(job);
// generate splits
List<InputSplit> splits = new ArrayList<InputSplit>();
List<FileStatus> files = listStatus(job);
for (FileStatus file: files) {
Path path = file.getPath();
long length = file.getLen();
if (length != 0) {
BlockLocation[] blkLocations;
if (file instanceof LocatedFileStatus) {
blkLocations = ((LocatedFileStatus) file).getBlockLocations();
} else {
FileSystem fs = path.getFileSystem(job.getConfiguration());
blkLocations = fs.getFileBlockLoca