1.Fetch抓取设置为more
hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是minimal。设置为more后,全局查找、字段查找、limit等都不走MR。
2.开启Map join
如果不指定map join或者不符合map join的条件,hive会将数据发送到reduce端进行join,容易发生数据倾斜。可以用map join把小表加载到内存中在map端进行join,避免reduce端join。
开启map join:
- 首先设置自动选择map join(默认已开启)
set hive.auto.convert.join = true; - 设置小表阈值(默认25M以下是小表)
set hive.mapjoin.smalltable.filesize=25000000;
3.小表在左,大表在右
key相对分散,数据量小的表放在join左边。hive3中已经做了优化,大表小表哪个在左都可以。
4.重复数据较多的表在左
重复数据较多的表放在join左边。
5.过滤为null的key再连接
所有为null的key都会进入同一个reduce,产生数据倾斜。
6.空key转换
如果key为null的数据不想舍弃,可以给是null的key加随机数。
7.避免笛卡尔积
join时指定on连接条件,避免产生笛卡尔积。
8.尽可能不写select *
只查询需要的列。
9.数据分区或分桶存储
10.数据压缩
压缩数据降低IO。