MapReduce之FileInputFormat切片机制

1.切片机制

切片大小，默认等于Block(128M)大小
切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

简单地按照文件的内容长度进行切片

 

 

2.源码中计算公式可以调整切片大小（默认等于Block(128M)大小）

computeSplitSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M

mapreduce.input.fileinputformat.split.minsize=1 (默认值为1)
mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue (Long最大值)

每次切片时，需要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片，大于则分两块。

切片大小调整如下：
maxsize（切片最大值）：参数如果调得比blockSize小，则会让切片变小，而且就等于配置的这个参数的值。
minsize（切片最小值）：参数调的比blockSize大，则可以让切片变得比blockSize还大。

 

 获取切片信息API
// 获取切片的文件名称
String name = inputSplit.getPath().getName();
// 根据文件类型获取切片信息
FileSplit inputSplit = (FileSplit) context.getInputSplit();