hive优化及参数配置

1、本质：MR的优化

2、列裁剪和分区裁剪：减少不必要的列和分区

列裁剪	hive.optimize.cp=true（默认值为真）
分区裁剪	hive.optimize.pruner=true（默认值为真）

3、使用不转MR任务的语句：a.select仅查询本表字段 b.where仅对本表字段做条件过滤

4、抓取策略 ：Set hive.fetch.task.conversion=none/more;

5、开启本地模式：

开启	set hive.exec.mode.local.auto=true
加载文件最大值	hive.exec.mode.local.auto.inputbytes.max（默认128M，大于该值仍会以集群方式运行）

6、并行计算：

开启	set hive.exec.parallel=true;
一次SQL计算中并行执行job数的最大值	hive.exec.parallel.thread.numbe

7、严格模式，作用查询限制：a.对于分区表，必须添加where对于分区字段的条件过滤；b.order by语句必须包含limit输出限制；c.限制执行笛卡尔积的查询。

开启	set hive.mapred.mode=strict（默认非严格，nonstrict）

8、排序：Sort By（单reduce排序）+Distribute By（分区排序） 代替 Order By（全排序）

9、Join：

a.小表join大表（join左边的表会加载到内存）；
b.尽可能使用相同的连接键（会转化为一个MapReduce作业）
c.在Map端完成Join（前提 需要的数据在 Map 的过程中可以访问到）

开启	set hive.auto.convert.join = true （对左表统计量进行mapjoin）
大表小表判断阈值	hive.mapjoin.smalltable.filesize （表大小小于该值会被加载到内存中运行）
–	–
是否忽略mapjoin hint	hive.ignore.mapjoin.hint（默认true）
–	–
是否将多个mapjoin转化为一个mapjoin	hive.auto.convert.join.noconditionaltask（默认true）
–	–
转化时表的最大值	hive.auto.convert.join.noconditionaltask.size

d.大表join大表:a.空key过滤(空key数据无效),b.空key转换（空key数据有效，给key赋一个随机值，负载均衡）

10、Map-Side聚合

开启	set hive.map.aggr=true
map端group by执行聚合时处理的多少行数据	hive.groupby.mapaggr.checkinterval（默认100000）
–	–
进行聚合的最小比例	hive.map.aggr.hash.min.reduction
–	–
map端聚合使用的内存的最大值	hive.map.aggr.hash.percentmemory
–	–
map端做聚合操作是hash表的最大可用内容	hive.map.aggr.hash.force.flush.memory.threshold（大于该值则会触发flush）
–	–
是否对GroupBy产生的数据倾斜做优化	hive.groupby.skewindata（默认false）

11、合并小文件

是否合并map输出文件	hive.merge.mapfiles=true
是否合并reduce输出文件	hive.merge.mapredfiles=true
–	–
合并文件的大小	hive.merge.size.per.task=25610001000

12、去重统计 ：数据量大时，COUNT DISTINCT使用先GROUP BY再COUNT的方式替换

13、合理控制Hive中Map以及Reduce的数量
–Map数量相关的参数

每个map处理文件的最大值	mapred.max.split.size
每个map处理文件的最小值	mapred.min.split.size.per.node
–	–
一个机架上split的最小值	mapred.min.split.size.per.rack

–Reduce数量相关的参数

强制指定reduce任务的数量	mapred.reduce.tasks
每个reduce任务处理的数据量	hive.exec.reducers.bytes.per.reducer
–	–
每个任务最大的reduce数	hive.exec.reducers.max

14、JVM重用（适用于a.小文件个数过多，b.task个数过多）

设置	set mapred.job.reuse.jvm.num.tasks=n（n为task插槽个数）

缺点：设置开启之后，task插槽会一直占用资源，不论是否有task运行，直到所有的task即整个job全部执行完成时，才会释放所有的task插槽资源！