MapReduce Input Split 输入分/切片

MapReduce Input Split（输入分/切片）详解

public static long getMaxSplitSize(JobContext context) {
return context.getConfiguration().getLong(SPLIT_MAXSIZE,
Long.MAX_VALUE);
}

如果没有设置这maxsize默认是Long.MAX_VALUE

public static long getMinSplitSize(JobContext job) {
return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);
}

如果没有设置这minsize默认是1L

按照这样的理解，应该是将maxsize设置的小一些（小于blocksiz）那么这个切片就变小了

如果将minisize设置大一些（大于blocksize）那么这个切片就变大了，

设置的方法是

FileInputFormat.setMaxInputSplitSize(job, size);
FileInputFormat.setMinInputSplitSize(job, size);

 切片数和文件在hdfs上的块数不是一个概念

转载于:https://www.cnblogs.com/rocky-AGE-24/p/6890465.html