Hive求topN

最新推荐文章于 2024-04-14 14:48:06 发布

RayfunC

最新推荐文章于 2024-04-14 14:48:06 发布

阅读量1.1k

点赞数 2

分类专栏：大数据框架 Hive 文章标签： Hive求TopN sortby和orderby Hive排序 HiveTopN TopN优化

本文链接：https://blog.csdn.net/a308601801/article/details/112005198

版权

本文详细介绍了在Hive中实现TopN的方法，包括Rank、Dense_Rank和Row_Number等函数，以及order by、distribute by、sort by和cluster by的使用。还讨论了Hive中的优化策略，如利用limit关键字和sort by limit配合提高SELECT TOP N的效率，避免全表排序。此外，文章强调了distribute by在预分区和聚集操作中的作用，并指出其与group by的区别。

摘要由CSDN通过智能技术生成

select t2.* from(
    select pid,uid,cnt,row_number() over (partition by pid order by cnt desc ) as rank from 
        (
            select pid,uid,count(uid) as cnt from visit2 group by pid,uid order by pid,cnt desc
        ) as t1
    ) as t2
where t2.rank <= 3;