数仓中Hive的优化

1. 基础进阶

2 通用

3 分组统计(解决数据倾斜)

4. 表关联优化

set hive.optimize.skewjoin=true;  //运行时优化
-- set hive.skewjoin.key=100000;
set hive.optimize.skewjoin.compiletime=true; //编译时优化
set hive.optimize.union.remove=true;  //union优化

5 Hive索引优化

开启Hive索引,并且指定索引的字段

'orc.create.index'='true'  :   开启索引
'orc.bloom.filter.columns'='appeal_status,customer_relationship_first_id' :    指定的索引字段