Hive Archive合并文件归档，减少小文件数量(推荐)

我们在使用Hive存储时，有时会遇到Hive表的文件大小不大，但是文件数量众多；这是可能会遇到HDFS的储存空间没到阈值，但文件数量超过阈值。如果小文件太多，容易影响整个集群的性能。

那么对于小文件多的问题，有以下处理方法：

1.输出时减少reduce的数量；但可能会导致job运行变慢

2.使用Spark重新读取小文件，修改分区并写入，这里不建议使用repartition()，推荐使用coalesce()

repartition()会增加文件的大小，因为要历经shuffle阶段，但coalesce()不会经历shuffle阶段，数据大小也不会增加

3.使用Hive Archive合并文件归档，会把分区的数据合并成一个.har的文件，使用方式如下（强烈推荐）：

# 设置archive参数
set hive.archive.enabled= true;
set hive.archive.har.parentdir.settable= true;
set har.partfile.size=1099511627776;

# 执行archive
alter table table_name archive PARTITION(dt='${DT}');