Hive优化

1.Fetch抓取设置为more

hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal。设置为more后，全局查找、字段查找、limit等都不走MR。

2.开启Map join

如果不指定map join或者不符合map join的条件，hive会将数据发送到reduce端进行join，容易发生数据倾斜。可以用map join把小表加载到内存中在map端进行join，避免reduce端join。

开启map join：

• 首先设置自动选择map join（默认已开启）
  set hive.auto.convert.join = true;
• 设置小表阈值（默认25M以下是小表）
  set hive.mapjoin.smalltable.filesize=25000000;

3.小表在左，大表在右

key相对分散，数据量小的表放在join左边。hive3中已经做了优化，大表小表哪个在左都可以。

4.重复数据较多的表在左

重复数据较多的表放在join左边。

5.过滤为null的key再连接

所有为null的key都会进入同一个reduce，产生数据倾斜。

6.空key转换

如果key为null的数据不想舍弃，可以给是null的key加随机数。

7.避免笛卡尔积

join时指定on连接条件，避免产生笛卡尔积。

8.尽可能不写select *

只查询需要的列。

9.数据分区或分桶存储

10.数据压缩

压缩数据降低IO。

11.Explain查看执行计划