Hive小文件过多如何解决

1. 使用hive自带的concatenate命令，自动合并小文件

• concatenate 命令只支持 RCFILE 和 ORC 文件类型。
• 使用concatenate命令合并小文件时不能指定合并后的文件数量，但可以多次执行该命令。
• 当多次使用concatenate后文件数量不在变化，这个跟参数 mapreduce.input.fileinputformat.split.minsize=256mb 的设置有关，可设定每个文件的最小size。

2. 调整参数减少Map数量
3. 减少Reduce的数量
   reduce 的个数决定了输出的文件的个数，所以可以调整reduce的个数控制hive表的文件数量
4. 使用hadoop的archive将小文件归档。
   Hadoop Archive简称HAR，是一个高效地将小文件放入HDFS块中的文件存档工具，它能够将多个小文件打包成一个HAR文件，这样在减少namenode内存使用的同时，仍然允许对文件进行透明的访问。