FileInputFormat切片机制
FileInputFormat切片机制
FileInputFormat的切片方法getSplits
本示例以1G的一个文件来进行分析,块大小为128M,则1G数据有8个块
public List<InputSplit> getSplits(JobContext job) throws IOException {
long minSize = Math.max(this.getFormatMinSplitSize(), getMinSplitSize(job));//若不进行配
原创
2020-10-17 18:41:36 ·
323 阅读 ·
0 评论