hive 参数调优手册

hive执行过程

1. reduce 个数设置

方法1.调整hive.exec.reducers.bytes.per.reducer和hive.exec.reducers.max
hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1G）
hive.exec.reducers.max（每个任务最大的reduce数，默认为999）
计算reducer数的公式:

reduce_number=min(hive.exec.reducers.maxinput_size/hive.exec.reducers.bytes.per.reducer)

推荐使用本方法控制reduce数量，因为数据量往往会变化，如果采用固定的reduce数量可能导致资源浪费或者oom等问题。
在设置reduce个数的时候需要考虑这两个原则：使大数据量利用合适的reduce数；使单个reduce任务处理合适的数据量；

hive> set hive.exec.reducers.bytes.per.reducer=500000000; （500M）
hive> select pt,count(1) from tmp_table where pt = '2012-07-04' group by pt;
分区大小占 9个G， 本次产生20个reduce
 
hive> set hive.exec.reducers.bytes.per.reducer=500000000; （500M）
hive> set hive.exec.reducers.max=15;
hive> select pt,count(1) from tmp_table where pt = '2012-07-04' group by pt;
本次产生15个reduce

方法2：调整mapreduce.job.reduces
该参数会直接生效，hive不再根据数据量估算reduce数量。

set mapred.reduce.tasks = 30;

reduce个数并不是越多越好；启动和初始化reduce也会消耗时间和资源；
另外，有多少个reduce,就会有多少个输出文件，如果生成了很多个小文件，那么如果这