Hive的优化

Hive优化核心思想

把HiveSQL当做Mapreduce程序运行

Hive运行方式

集群模式

本地运行（测试环境）

#开启本地模式
set hive.exec.mode.local.auto=true;

满足以下条件才能真正使用本地模式
①输入数据大小必须小于参数：
hive.exec.mode.local.auto.inputbytes.max(默认128MB)
②map数必须小于参数：
hive.exec.model.local.auto.tasks.max(默认4)
③reduces数必须为0或者1

开启并行模式

#开启并行模式
set hive.exec.parallel=true
#一次SQL计算中允许并行执行的job个数的最大值
hive.exec.parallel.thread.number

注意:hive.exec.parallel.thread.number不是越大越好，根据情况而定

开启严格模式

#开启严格模式(默认为：nonstrict非严格模式)
set hive.mapred.mode=strict;

查询限制
1、对于分区表，必须添加where对于分区字段的条件过滤（防止暴力扫描全表）；
2、order by语句必须包含limit输出限制；
3、限制执行笛卡尔积的查询

Hive排序

Order By
对于查询结果做全排序，只允许有一个reduce处理（当数据量较大时，应慎用）
Sort By
对于单个reduce的数据进行排序
Distribute By
分区，经常和Sort By结合使用达到分区排序的效果
Cluster By
相当于Sort By+Distribute By(Cluster By不能通过asc、desc的方式指定排序规则，可通过distribute by column sort by column asc|desc的方式)

Hive Join

Join计算时，将小表（驱动表）放在join的左边
Map Join：在Map端完成Join
两种实现方式：
① SQL方式，在SQL语句中添加Map Join标记（map join hint）
语法：
SELECT /+MAPJOIN（smallTable）/smallTable.key, bigTable.value
FROM smallTable JOIN bigTable ON smallTable.key = bigTable.key
②开启自动的Mapjoin

#开启Hive join(Hive 自动对左边的表统计数据量，如果 小表就加入内存，即对小表使用Map join)
set hive.auto.convert.join = true

相关配置参数：

#大表小表判断的阈值，如果表的大小小于该值则会被加载到内存中运行
hive.mapjoin.smalltable.filesize;
#忽略mapjoin hint即mapjoin标记（默认true）
hive.ignore.mapjoin.hint
#将普通的join转化为普通的mapjoin时，是否将多个mapjoin转化为一个mapjoin（默认值为true）
hive.auto.convert.join.nocondwitionaltask
#将多个mapjoin转化为一个mapjoin时，表的最大值
hive.auto.convert.join.nocondwitionaltask.size

Map-Side聚合

通过设置以下参数开启在Map端的聚合 combiner：
set hive.map.aggr=true;
相关配置参数：

hive.groupby.mapaggr.checkinterval： 默认100000
map端group by执行聚合后产生的最大记录数（默认：100000）
hive.map.aggr.hash.min.reduction：默认0.5 
进行聚合的最小比例（预先对100000条数据做聚合，若聚合之后的数据量/100000的值大于该配置0.5，则不会聚合）
hive.map.aggr.hash.percentmemory： 默认0.5 
map端聚合使用的内存占总内存的比例
hive.map.aggr.hash.force.flush.memory.threshold：默认0.9 
map端做聚合操作是hash表的最大可用内容，大于该值则会触发flush
hive.groupby.skewindata
是否对GroupBy产生的数据倾斜做优化，默认为false

控制Hive中Map以及Reduce的数量

Map数量相关的参数

#一个split的最大值，即每个map处理文件的最大值
mapred.max.split.size
# 一个节点上split的最小值
mapred.min.split.size.per.node
# 一个机架上split的最小值
mapred.min.split.size.per.rack

Reduce数量相关的参数

#强制指定reduce任务的数量
mapred.reduce.tasks
#每个reduce任务处理的数据量
hive.exec.reducers.bytes.per.reducer 默认 256M
#每个任务最大的reduce数
hive.exec.reducers.max 默认1009

Hive - JVM重用

适用场景：
1、小文件个数过多
2、task个数过多

通过 set mapred.job.reuse.jvm.num.tasks=n; 来设置
（n为task插槽个数）

缺点：设置开启之后，task插槽会一直占用资源，不论是否有task运行，直到所有的task即整个job全部执行完成时，才会释放所有的task插槽资源！