超级会员免费看
本文介绍了如何优化Hive中的distinct操作。优化前，数据在单个reduce中处理，使用count(distinct ip)可能导致性能瓶颈。优化后，通过先对数据进行group by处理，再进行count操作，可以将数据分散到不同reduce，提升处理效率。此外，文章提到Impala不支持多个distinct，而Prosto和Hive则支持。
1.优化distinct
优化前，数据全部放在一个reduce里
select count(distinct ip)
from
(select id from tablea
union all
select id from tableb) ta
优化后，数据先分布到不同的reduce中，再统一
select
count(*)
from
(select id
from
(select id from from tablea
union all
select id from tableb
) ta group by id) tb
impala 不支持多个distinct,prosto,和hive支持
select count(distinct id),count(distinct name)
from
jt_dw_a.black_test
4094
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
