13.小文件combine优化

1.场景：

有许多小文件，若提交到集群，一个小文件及时没有到达一个块大小也占用一个块，浪费空间。

2.优化:

在drive自定义设置

//指定运行的inputformat方式 默认的方式是textinputformat(小文件优化)
		job.setInputFormatClass(CombineTextInputFormat.class);
		CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);//最大4M
		CombineTextInputFormat.setMinInputSplitSize(job, 3145728);//最小3M