我们在使用Hive存储时,有时会遇到Hive表的文件大小不大,但是文件数量众多;这是可能会遇到HDFS的储存空间没到阈值,但文件数量超过阈值。如果小文件太多,容易影响整个集群的性能。
那么对于小文件多的问题,有以下处理方法:
1.输出时减少reduce的数量;但可能会导致job运行变慢
2.使用Spark重新读取小文件,修改分区并写入,这里不建议使用repartition(),推荐使用coalesce()
repartition()会增加文件的大小,因为要历经shuffle阶段,但coalesce()不会经历shuffle阶段,数据大小也不会增加
3.使用Hive Archive合并文件归档,会把分区的数据合并成一个.har的文件,使用方式如下(强烈推荐):
# 设置archive参数
set hive.archive.enabled= true;
set hive.archive.har.parentdir.settable= true;
set har.partfile.size=1099511627776;
# 执行archive
alter table table_name archive PARTITION(dt='${DT}');