Hive insert into小文件问题优化解决

Hive insert into小文件问题优化解决

insert into table hhl values ('1','11');
insert into table hhl values ('1','12');

这样插入数据的时候，
会发现每次插入一次数据，就会产生一个小文件

解决的问题:

一:sql 优化

insert into table hhl values (‘1’,‘11’), (‘1’,‘12’);

每次这样执行一次就会产生一个文件

但是你要不同的时期，分段执行插入数据时
使用下面的方法

二：insert overwrite

 insert overwrite table hhl select * from test_hhl;