如何进行hive查询优化

hive查询优化的主要目的是提升效率,下面总结了查询中经常使用的优化点：

1. 少用count(distinct )  

建议用group by 代替 distinct 。原因为count(distinct)逻辑只会有一个reducer来处理,即使设定了reduce task个数，set mapred.reduce.tasks=100也一样，所以很容易导致数据倾斜。坊间传闻，在面对大数据量时很多大厂都“明令禁止使用distinct”。

如sql语句：select count(distinct uid) from users

建议改成： select count(*)  from (select uid from testmac group by uid) t

2. 谓词下推

Predicate Pushdown，PPD，白话的意思就是就是将SQL语句中的where谓词逻辑都尽可能提前执行，减少下游处理的数据量。例如以下HiveSQL语句：

select a.uid,a.event_type,b.topic_id,b.title from calendar_record_log a left outer join ( select uid,topic_id,title from forum_topic where pt_date = 20190224 and length(content) >= 100 ) b on a.uid = b.uid where a.pt_date = 20190224 and status = 0;

对forum_topic做过滤的where语句写在子查询内部，而不是外部。

3. 用sort by代替order by

order by : 对查询结果进行全局排序消耗时间长