FileInputForma切片机制

FileInputFormat切片机制

FileInputFormat

FileInputFormat中默认的切片机制

• 简单地按照文件的内容长度进行切片
• 切片大小，默认等于block大小
• 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
  比如待处理数据有两个文件：

文件	大小
file1.txt	320M
file2.txt	10M

经过FileInputFormat的切片机制运算后，形成的切片信息如下：

切片	数据段
file1.txt.split1	0~128M
file1.txt.split2	128~256M
file1.txt.split3	256~320M
file2.txt.split1	0~10M

FileInputFormat切片大小的参数配置

在FileInputFormat的280行中，计算切片大小的逻辑为Math.max(minSize,Math.min(maxSize, blockSize));
切片主要由这几个值来运算决定
mapreduce.input.fileinputformat.split.minsize=1 默认值为1
mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue
因此，默认情况下，切片大小=blocksize。
maxsize（切片最大值）：参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值。
minsize（切片最小值）：参数调的比blockSize大，则可以让切片变得比blocksize还大。

获取切片信息API

// 根据文件类型获取切片信息
FileSplit inputSplit = (FileSplit) context.getInputSplit();
// 获取切片的文件名称
String name = inputSplit.getPath().getName();

FileInputFormat工作流程

1. 找到你数据存储的目录。
2. 开始遍历处理（规划切片）目录下的每一个文件
3. 遍历第一个文件ss.txt
   1）获取文件大小fs.sizeOf(ss.txt);
   2）计算切片大小
   3）默认情况下，切片大小=blocksize
   4）开始切，形成第1个切片：ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt—256M:300M（每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）
   5）将切片信息写到一个切片规划文件中
   6）整个切片的核心过程在getSplit()方法中完成。
   7）数据切片只是在逻辑上对输入数据进行分片，并不会再磁盘上将其切分成分片进行存储。InputSplit只记录了分片的元数据信息，比如起始位置、长度以及所在的节点列表等。
   8）注意：block是HDFS物理上存储的数据，切片是对数据逻辑上的划分。

		Math.max(minSize, Math.min(maxSize, blockSize))
		computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M

4. 提交切片规划文件到yarn上，yarn上的MrAppMaster就可以根据切片规划文件计算开启maptask个数。

CombineTextInputFormat

CombineTextInputFormat继承于FileInputFormat。
默认情况下TextInputformat对任务的切片机制是按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个maptask，这样如果有大量小文件，就会产生大量的maptask，处理效率极其低下。

优化策略

（1）最好的办法，在数据处理系统的最前端（预处理/采集），将小文件先合并成大文件，再上传到HDFS做后续分析。
（2）补救措施：如果已经是大量小文件在HDFS中了，可以使用另一种InputFormat来做切片（CombineTextInputFormat），它的切片逻辑跟TextFileInputFormat不同：它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个maptask。
（3）优先满足最小切片大小，不超过最大切片大小。

	CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
	CombineTextInputFormat.setMinInputSplitSize(job, 2097152);// 2m

eg：

	//  如果不设置InputFormat,它默认用的是TextInputFormat.class
	job.setInputFormatClass(CombineTextInputFormat.class)
	CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
	CombineTextInputFormat.setMinInputSplitSize(job, 2097152);// 2m

注：在看number of splits时，和最大值(MaxSplitSize)有关、总体规律就是和低于最大值是一片、高于最大值1.5倍+，则为两片；高于最大值2倍以上则向下取整，比如文件大小65MB，切片最大值为4MB,那么切片为16个.总体来说，切片差值不超过1个，不影响整体性能