hive内group by取第一条数据,Hive中row_number的使用

1、hive的分组和组内排序---语法

语法:
row_number() over (partition by 字段a order by 计算项b desc ) rank

  • rank是排序的别名
  • partition by:类似hive的建表,分区的意思;
  • order by :排序,默认是升序,加desc降序;
  • 这里按字段a分区,对计算项b进行降序排序


2、hive的分组和组内排序 --- 实例

要取top10品牌,各品牌的top10渠道,各品牌的top10渠道中各渠道的top10档期

1、取top10品牌

select “品牌” , sum/count/其他() as num from "table_name" order by num desc limit 10;

2、取top10品牌下各品牌的top10渠道

select a.* from (select "品牌","渠道",sum/count() as num, row_number () over (partition by "品牌" order by num desc) rank from “table_name” where 品牌限制条件 group by “品牌”,“渠道” ) a having a.rank <= 10;

3、 取

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hive,DISTINCT、GROUP BY和ROW_NUMBER()都可以用于去重,但它们的效率和使用场景有所不同。 DISTINCT: DISTINCT是用于从查询结果删除重复的行。它通常适用于查询结果较小的情况。如果查询结果比较大,DISTINCT可能会变得非常慢。因为在执行DISTINCT操作时,需要对整个结果集进行排序和去重操作,这是一个非常耗费资源的过程。此外,DISTINCT还会影响查询的性能,因为它需要将数据从Map阶段传递到Reduce阶段,这会导致额外的网络开销。 GROUP BY: GROUP BY是用于对查询结果进行分组和聚合操作。它的效率比DISTINCT要高,因为它只需要对每个分组进行聚合操作,而不需要对整个结果集进行排序和去重操作。但是,如果分组键的基数比较大,GROUP BY可能会变得非常慢。 ROW_NUMBER(): ROW_NUMBER()函数可以用于给查询结果的每一行分配一个唯一的数字。它通常用于分页操作。ROW_NUMBER()的效率比DISTINCT和GROUP BY要高,因为它只需要对查询结果进行遍历,而不需要对整个结果集进行排序和去重操作。但是,如果查询结果比较大,ROW_NUMBER()也可能会变得非常慢。 总的来说,对于去重操作,如果查询结果比较小,可以使用DISTINCT。如果查询结果比较大,并且需要进行分组和聚合操作,可以使用GROUP BY。如果需要进行分页操作,可以使用ROW_NUMBER()。但是,具体使用哪种方式决于具体的查询场景。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值