Hive中distinct和Group by效率对比及处理方式

注：该Hive语法仍可以做很多优化：建立临时表一次性从大表中取出数据；把where条件尽量放在一次判断中，这里仅针对distinct和group by讨论。
#结论：
针对大量数据的去重，group by的效率要远高于distinct。
#从distinct转化为group by
简单的转化这里不提，针对：一条语句里求总记录条数以及去重之后的记录条数：
简单示例：

SELECT
COUNT(*) AS sum_cnt
,COUNT(DISTINCT age ) AS user_cnt
FROM
liu_t_02 t
GROUP BY 
t.name;

结果

转化为group by 只需要在加一个group by，并采用sum和count的组合

SELECT
SUM(age),
COUNT(tt.age)
FROM
(
SELECT t.name0 AS name0,COUNT(age) as age
FROM
liu_t_02 t
GROUP BY 
t.name0,t.age
)tt
GROUP BY tt.name0

#测试时间对比
自己写的用于计算巨量数据的distinct的脚本，在shell中用时13分钟。
修改为group by，运算结果相同，用时9分钟，效率提升30%。