Hive 参数介绍以及优化记录

本文参考：Hive 的参数说明： http://www.geedoo.info/hive-parameter-description.html
                  Hive 工作中优化记录： http://www.geedoo.info/hive-optimization-notes.html
                  Hive 配置参数详细介绍： http://www.aboutyun.com/thread-7794-1-1.html
                  Hive 命令行参数： http://blog.sina.com.cn/s/blog_940224600100zn2q.html

1. Map输入合并小文件

set mapred.max.split.size=256000000;                                       #每个Map最大输入大小
set mapred.min.split.size.per.node=100000000;                        #一个节点上split的至少的大小
set mapred.min.split.size.per.rack=100000000;                         #一个交换机下split的至少的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;   #执行Map前进行小文件合并

说明：
在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后，一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。
mapred.min.split.size.per.node决定了多个data node上的文件是否需要合并~
mapred.min.split.size.per.rack决定了多个交换机上的文件是否需要合并~

2.输出合并

---

set hive.merge.mapfiles = true                                                   #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true                                              #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000                          #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000                             #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge

3.设置压缩

---

set hive.exec.compress.output=true;
set mapred.output.compress=true;     #设置map-reduce后的结果是否压缩set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;  #设置map-reduce后的结果压缩格式
set io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec;  #设置io的压缩格式
set  io.seqfile.compression.type=BLOCK;

4.设置Map-reduce数

---

改变reduce个数的方法：

• set mapred.reduce.tasks = 2;                #设置reduce个数

• set hive.exec.reducers.bytes.per.reducer=500000000; （500M）  #设置每个reduce任务处理的数据量

hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） 
hive.exec.reducers.max（每个任务最大的reduce数，默认为999）

具体详细见网文：map和reduce 个数的设定 （Hive优化）经典

5、设置动态分区数

---

SET hive.exec.max.dynamic.partitions=100000;
SET hive.exec.max.dynamic.partitions.pernode=100000;

hive分区数目不是无限制的，最大分区数可以通过参数设置。

工作中Hive的优化记录：

set hive.exec.max.dynamic.partitions=100000;
set hive.exec.max.dynamic.partitions.pernode=100000;
set hive.exec.reducers.bytes.per.reducer=300000000;
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec;

---

说明：

hive.exec.max.dynamic.partitions=100000;
hive.exec.max.dynamic.partitions.pernode=100000;

优化Hive动态分区，详细问题见：Hive动态分区问题

hive.exec.reducers.bytes.per.reducer=300000000;

设置每个reduce接收300M数据，默认是1G。由于我的数据计算多，所以从1G改到500M，又改到300M。

hive.exec.compress.output=true;
mapred.output.compress=true;
mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec;

设置压缩，reduce输出结果，和io压缩