Hive优化之小文件合并

问题背景:

公司集群有个表, 执行一次insert overwrite table select * from table; 大概需要7000s.

源表是从pgsql抽上来的, 用了500个maptasks.

该表以月为分区, 每个分区文件夹下面产生了大量的小文件, 有的都不到1M.

 

问题产生原因:

输入表本身就有很多小文件, 插入的时候没有限制reduce个数, 资源也没有限制, 导致产生很多个ReduceTasks, 进而产生多个小文件.

 

解决方案:

1. 在Map输入的时候, 把小文件合并.

-- 每个Map最大输入大小，决定合并后的文件数
set mapred.max.split.size=256000000;

-- 一个节点上split的至少的大小 ，决定了多个data node上的文件是否需要合并
set mapred.min.split.size.per.node=100000000;

-- 一个交换机下split的至少的大小，决定了多个交换机上的文件是否需要合并
set mapred.min.split.size.per.rack=100000000;

-- 执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; 

2. 在Reduce输出的时候, 把小文件合并.

-- 在map-only job后合并文件，默认true
set hive.merge.mapfiles = true;

-- 在map-reduce job后合并文件，默认false
set hive.merge.mapredfiles = true;

-- 合并后每个文件的大小，默认256000000
set hive.merge.size.per.task = 256000000;

-- 平均文件大小，是决定是否执行合并操作的阈值，默认16000000
set hive.merge.smallfiles.avgsize = 100000000;

 

参考文章:

https://blog.csdn.net/yycdaizi/article/details/43341239

http://shzhangji.com/cnblogs/2014/04/07/hive-small-files/