Hive Sql之 count(distinct ) 优化

1. 少用count(distinct )

建议用group by 代替 distinct 。
原因为count(distinct)逻辑只会有一个reducer来处理,即使设定了reduce task个数，
setmapred.reduce.tasks=100也一样，所以很容易导致数据倾斜。
坊间传闻，在面对大数据量时很多大厂都“明令禁止使用distinct”。

如sql语句：select count(distinct uid) from users

建议改成： select count(*)  from (select uid from testmac group by uid) t