Hive实战系列调优之工作常用到的参数

1.开启并行执行

set hive.exec.parallel=true;

2.设置Map和Reduce的个数

--Map数量相关的参数
set mapred.max.split.size;    --一个split的最大值，即每个map处理文件的最大值
set mapred.min.split.size.per.node;  --一个节点上split的最小值
set mapred.min.split.size.per.rack;   --一个机架上split的最小值


--Reduce数量相关的参数
set mapred.reduce.tasks; --强制指定reduce任务的数量
set hive.exec.reducers.bytes.per.reducer;  --每个reduce任务处理的数据量
set hive.exec.reducers.max;--每个任务最大的reduce数

3.Join优化

Hive Join 优化
set hive.auto.convert.join=true;该参数为true时，Hive自动对左边的表统计量，如果是小表就加入内存，即对小表使用Map join
set hive.mapjoin.smalltable.filesize=25000000;小表大小默认25M
set hive.auto.convert.join.noconditionaltask=true;默认值：true；将普通的join转化为普通的mapjoin时，是否将多个mapjoin转化为一个mapjoi
set hive.auto.convert.join.noconditionaltask.size=10000000;将多个mapjoin转化为一个mapjoin时，其表的最大值

Map-Side聚合（一般在聚合函数sum,count时使用）
通过设置以下参数开启在Map端的聚合：
set set hive.map.aggr=true;
相关配置参数：
set hive.groupby.mapaggr.checkinterval： 
map端group by执行聚合时处理的多少行数据（默认：100000）
set hive.map.aggr.hash.min.reduction： 
进行聚合的最小比例（预先对100000条数据做聚合，若聚合之后的数据量/100000的值大于该配置0.5，则不会聚合）
set hive.map.aggr.hash.percentmemory： 
map端聚合使用的内存的最大值
set hive.map.aggr.hash.force.flush.memory.threshold： 
map端做聚合操作是hash表的最大可用内容，大于该值则会触发flush
set hive.groupby.skewindata
是否对GroupBy产生的数据倾斜做优化，默认为false（自动优化解决思路如下）：
Map端两个MapReduce，第一个Mapreduce随机来分发数据。然后另一个Mapreduce根据此Mapreduce的结果在到Reduce的机器上去拉取数据。

4.排序

Order By - 对于查询结果做全排序，只允许有一个reduce处理
Sort By - 对于单个reduce的数据进行排序,这样最后的数据有可能排序结果不准
Distribute By - 分区排序，经常和Sort By结合使用（SortBy对于最后的分区排序）
Cluster By - 相当于 Sort By + Distribute By（Cluster By不能通过asc、desc的方式指定排序规则；
可通过 distribute by column sort by column asc|desc 的方式

5.设置JVM重用

set mapred.job.reuse.jvm.num.tasks=10;