使用impala重新插入数据解决hdfs入库中得小文件问题

1.使用得impala插入方式解决：

set parquet_file_size=512M; --此处加上可以使得hdfs目录下文件大小控制为512M。若不加则默认配置文件中得最大值。
insert overwrinte table databases.table partition(sf,rq)  --此处动态分区可以达到缩小文件数目得目的，若改为sf='3333',rq='20230101' 没有动态效果好
select
id,
sj,
qian,
rk,
ck,
huohe,
sf,    --此处若不是动态分区形式，则需去掉
rq     --此处若不是动态分区形式，则需去掉
from  databases.table2 
where sf='${var:SF}'
and rq='${var:RQ}'