Hive常用参数调优

以下参数值不是固定值，可结合集群情况适当调整

1、并行执行job
一个hql可能会转化为多个MR job来执行，如果有些job间没有依赖关系，可以让多个job同时运行，提升执行效率，但如果集群资源较少，不建议开启，否则会导致多个job相互抢占资源，降低整体运行效率

set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=12;

2、控制Mapper读入文件块大小
(1)每个map读入数据块的最大值，这个值决定了合并后文件的数量

set mapred.max.split.size=256000000;

(2)一个节点上文件块进行split切分的最小值，会对不同节点数据进行传输合并

set mapred.min.split.size.per.node=128000000;

(3)一个交换机上文件块进行split切分的最大值，会对不同交换机上的数据文件进行合并

set mapred.min.split.size.per.rack=128000000;

(4)map执行前先对小文件进行合并

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

3、设置Map和Reduce阶段结束时进行文件合并
(1)设置map端合并，在map only结束时进行文件合并

set hive.merge.mapfiles=true;

(2)设置reduce端合并，在MapReduce任务结束时合并小文件

set hive.merge.mapredfiles=true;

(3)设置合并文件的大小

set hive.merge.size.per.task=256000000;

(4)当输出文件的平均大小小于该值时，启动一个MR任务进行文件合并

set hive.merge.smallfiles.avgsize=16000000;

4、矢量查询
默认是单行数据处理，矢量查询可以一次性批量执行1024行数据

set hive.vectorized.execution.enabled=true;
set hive.vectorized.execution.reduce.enabled=true;

5、CBO(基于成本优化)
开启此功能后会自动优化sql中多个join的顺序，并根据算法优化每个查询的执行逻辑和物理执行计划，确定join顺序和任务并行度等

set hive.cbo.enable=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;

6、Map端聚合
默认情况下，在MR过程中，map阶段的相同key会分发到相同reduce，如果一个key数据量较大就很可能产生数据倾斜，所以在reduce端进行聚合操作前可以先在map端先进行一次聚合
(1)设置在map端进行聚合操作，默认为true(提升效率的同时也会占用较多内存)

set hive.map.aggr=true;

(2)在map端聚合的数据条数

set hive.groupby.mapaggr.checkinterval=100000;

7、自动Map join
可以将小表全部加载到内存在map端进行join，避免reduce处理，特别当大表与小表join时，可采用map join，但是小表的行数不宜过多，通常上限为20万条(仅供参考)

如果大表的数据量过大，shuffle数据量较大，可将小表行数上限提升到100万条，注意各stage的数据量是否过大产生磁盘溢出，如果有则需增加reduce task数目，join时避免大表与大表直接join

(1)开启自动选择mapjoin，默认开启

set hive.auto.convert.join=true;

(2)设置小表的大小，默认25m以下为小表

set hive.mapjoin.smalltable.filesize=25000000;

8、负载均衡
当产生数据倾斜时启动负载均衡，默认为false

set hive.groupby.skewindata=true;

开启负载均衡后，任务会拆分为两个job来执行：
(1)第一个job中map阶段的输出结果会随机分发到多个reduce中，每个reduce做部分聚合操作，这个过程中同一key有可能被发送到不同的reduce中，以此实现负载均衡功能
(2)第二个job会将上个job处理的结果对key进行group by将数据分发到多个reduce中，这可以保证相同key被分到同一个reduce中，以此完成最终的聚合操作

9、使用索引
(1)开启自动索引

set hive.optimize.index.filter=true;

(2)使用聚合索引优化group by操作

set hive.optimize.index.groupby=true;

10、简单查询不走MR

set hive.fetch.task.conversion=more;

可选参数：
minimal：默认值，在select * 、where day = ‘xxx’ 、limit n 时才会使用直接抓取数据的方式(其中day是分区字段)
more：在使用select、where、limit时都会直接抓取数据

11、控制Mapper数
切片大小计算公式：
splitSize=Math.max(minSize,Math.min(maxSize,blockSize))
其中：
minSize可由mapreduce.input.fileinputformat.split.minsize设定，默认值为1
maxSize可由mapreduce.input.fileinputformat.split.maxsize设定，默认值为Long.MAXValue
所以默认情况下切片大小为blockSize