hive调优

这个是面试基本都会问到的，从两个方面回答，参数和sql

一个是job优化

本地执行 hive.exec.mode.local.auto=true

1.groupby优化

设置hive.groupby.skewindata=true  使其能够分段groupby（各个map各自groupby，reduce段聚合再次groupby）

2.map端聚合

hive.map.aggr 可以提升效率，但占用内存

其次sql优化

1.谓词下推

where条件中将无关的列剔除

2.分区读取

只读取符合条件的分区

3.列裁剪

只select需要的字段

4.通用表join

选用join key分布最均匀的表作为驱动表，做好列裁剪和谓词下推

5.大小表join

以小表（万行以内）做驱动表，使用map join

map join还能进行不等连接的join操作

6.大表join大表

空值处理  把空值单独处理，把空值的key变成一个字符串加上随机数

7.使用sum（） groupby的方式来替换count（distinct）完成计算

8.注意列的数据类型，使用时候数据类型的操作，比如对于String列内均是数字的，将其定义为int再做计算