Hive insert into小文件问题

测试数据

CREATE TABLE `test_small`
(
    `dist_id` int COMMENT '区组id',
    `account` string COMMENT '账号',
    `gold`    int COMMENT '金币'
)
    row format delimited fields terminated by ',';

插入两条数据

insert into table test_small values ('1','11',100006);
insert into table test_small values ('1','12',110000);

去文件看,生成两个小文件

再插入两条数据

insert into table test_small values ('1','13',102000);
insert into table test_small values ('1','14',100300);

生成四个小文件

在hive中，每使用一次insert都会产生一个小文件，在生产中是大忌。

现在已经有了四个小文件,如何合并为一个?
查询数据覆盖原表格

insert overwrite table test_small select * from test_small;

查看hdfs,可以看到只有一个文件了

参考

Hive中使用insert语句产生的小文件_zhikanjiani的博客-CSDN博客_hive insert 小文件