hive合并小文件的配置项

〇. 启动压缩

set hive.exec.compress.output=true;

set mapreduce.output.fileoutputformat.compress=true; 

一. 输入合并：当有大量小文件时，启动合并，减少map数。

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;--默认开启
-- 防止map端输入合并小文件（当文件体积很小但是行数很多时。）
SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
 

对应参数：

set mapred.max.split.size=256000000;  #每个Map最大输入大小
set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小 
set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小
set hive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInputFormat;  #执行Map前进行小文件合并

在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后，一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。
mapred.min.split.size.per.node决定了多个data node上的文件是否需要合并~
mapred.min.split.size.per.rack决定了多个交换机上的文件是否需要合并~

二. 输出合并：MR作业结束后，判断生成文件的平均大小，如果小于阀值，就再启动一个job来合并文件

set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
 

 

hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）

set hive.exec.reducers.bytes.per.reducer=500000000; （500M)
set hive.exec.reducers.max = 888（每个任务最大的reduce数，默认为999）

set mapred.reduce.tasks = 15;