join和子查询效率_如何进行hive查询优化？

hive查询优化的主要目的是提升效率。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。下面总结了查询中经常使用的优化点：

1. 少用count(distinct )  

建议用group by 代替 distinct 。原因为count(distinct)逻辑只会有一个reducer来处理,即使设定了reduce task个数，set mapred.reduce.tasks=100也一样，所以很容易导致数据倾斜。坊间传闻，在面对大数据量时很多大厂都“明令禁止使用distinct”。

如sql语句：select count(distinct uid) from users

建议改成： select count(*)  from (select uid from testmac group by uid) t

2. 谓词下推

Predicate Pushdown，PPD，白话的意思就是就是将SQL语句中的where谓词逻辑都尽可能提前执行，减少下游处理的数据量。例如