避免Hive和Spark生成HDFS小文件

HDFS是为大数据设计的分布式文件系统，对大数据做了存储做了针对性的优化，但却不适合存储海量小文件。

Hive 和 spark-sql是两个在常用的大数据计算分析引擎，用户直接以SQL进行大数据操作，底层的数据存储则多由HDFS提供。对小数据表的操作如果没做合适的处理则很容易导致大量的小文件在HDFS上生成，常见的一个情景是数据处理流程只有map过程，而流入map的原始数据数量较多，导致整个数据处理结束后生成了与原始数据数量一样多的文件。

map->reduce的计算模型最后生成的文件数量取决于计算流中最后环节的任务个数，如果只有map，则取决于mapper的个数，如果有reduce，则取决于reducer的个数。由于计算流执行的过程中，一般情况下reducer的数量显著小于mapper，故可在既定的系统级配置下，hive和spark均可在数据处理的最后一步通过合适的配置（提示），达到强制触发reduce操作，控制reducer的个数的目的，从而控制最后生成的数据文件个数。

hive 配置

在计算流的最后一个步骤，执行group by或distribute by强制触发reduce操作，达到控制小文件的目的。

insert into table TABLE_NAME
select .</