FileInputFormat切片机制

FileInputFormat切片源码分析

切片机制

（1）简单地按照文件的内容长度进行切片
（2）切片大小，默认等于Block大小
（3）切片是不考虑数据集整体，而是逐个针对每一个文件单独切片

案例分析

源码中计算切片大小的公式

切片大小设置

（1） maxsize（切片最大值）：参数如果调得比blockSize小，则会让切片变小，而且就等于配置的这个参数的值。
（2）minsize（切片最小值）：参数调的比blockSize大，则可以让切片变得比blockSize还大。

获取切片信息API

// 获取切片的文件名称
String name = inputSplit.getPath().getName();
// 根据文件类型获取切片信息
FileSplit inputSplit = (FileSplit) context.getInputSplit()