Hive insert into小文件问题优化解决
insert into table hhl values ('1','11');
insert into table hhl values ('1','12');
这样插入数据的时候,
会发现每次插入一次数据,就会产生一个小文件
解决的问题:
一:sql 优化
insert into table hhl values (‘1’,‘11’), (‘1’,‘12’);
每次这样执行一次就会产生一个文件
但是你要不同的时期,分段执行插入数据时
使用下面的方法
二:insert overwrite
insert overwrite table hhl select * from test_hhl;