Hive 工作中优化记录: http://www.geedoo.info/hive-optimization-notes.html
Hive 配置参数详细介绍: http://www.aboutyun.com/thread-7794-1-1.html
Hive 命令行参数: http://blog.sina.com.cn/s/blog_940224600100zn2q.html
1. Map输入合并小文件
set mapred.max.split.size=256000000; #每个Map最大输入大小
set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小
set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; #执行Map前进行小文件合并
说明:
在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后,一个data node节点上多个小文件会进行合并,合并文件数由mapred.max.split.size限制的大小决定。
mapred.min.split.size.per.node决定了多个data node上的文件是否需要合并~
mapred.min.split.size.per.rack决定了多个交换机上的文件是否需要合并~
2.输出合并
set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时,启动一个独立的map-reduce任务进行文件merge
3.设置压缩
set hive.exec.compress.output=true;
set mapred.output.compress=true; #设置map-reduce后的结果是否压缩set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; #设置map-reduce后的结果压缩格式
set io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; #设置io的压缩格式
set io.seqfile.compression.type=BLOCK;
4.设置Map-reduce数
改变reduce个数的方法:
- set mapred.reduce.tasks = 2; #设置reduce个数
- set hive.exec.reducers.bytes.per.reducer=500000000; (500M) #设置每个reduce任务处理的数据量
hive.exec.reducers.bytes.per.reducer(每个reduce任务处理的数据量,默认为1000^3=1G)
hive.exec.reducers.max(每个任务最大的reduce数,默认为999)
具体详细见网文:map和reduce 个数的设定 (Hive优化)经典
SET hive.exec.max.dynamic.partitions.pernode=100000;
工作中Hive的优化记录:
set hive.exec.max.dynamic.partitions=100000;
set hive.exec.max.dynamic.partitions.pernode=100000;
set hive.exec.reducers.bytes.per.reducer=300000000;
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec;
说明:
hive.exec.max.dynamic.partitions=100000;
hive.exec.max.dynamic.partitions.pernode=100000;
优化Hive动态分区,详细问题见:Hive动态分区问题
hive.exec.reducers.bytes.per.reducer=300000000;
设置每个reduce接收300M数据,默认是1G。由于我的数据计算多,所以从1G改到500M,又改到300M。
hive.exec.compress.output=true;
mapred.output.compress=true;
mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec;
设置压缩,reduce输出结果,和io压缩