解决ROW_NUMBER()和distinct的一起使用时无法去重的问题

distinct的作用是对查询结果进行去重,防止出现重复数据;

ROW_NUMBER()函数是对查询出的结果添加一列不重复的数字;

结果就导致两者共用时因为ROW_NUMBER()这一行不会重复,所以distinct相当于没用了;

举例:

用的表结构

一个普通的SQL查询

select name,age,class,score from student where age = 10;

 结果:

只添加distinct查询:

select distinct name,age,class,score from student where age = 10;

结果:

可以看到对于重复的数据已经去除掉了

只使用ROW_NUMBER()函数

select ROW_NUMBER() OVER(),name,age,class,score from student where age = 10;

结果:

 结果添加了新的一列,并且值不重复

ROW_NUMBER()和distinct一起用

select distinct ROW_NUMBER() OVER(),name,age,class,score from student where age = 10;

结果:

可以看到姓名为张三的数据本来应该被distinct给去重掉,但是因为ROW_NUMBER()函数新增加的那一列导致数据不重复了,所以去重失败!

解决办法

对于ROW_NUMBER()和distinct必须要同时使用的情况,这里提供一个解决办法,将ROW_NUMBER()函数和distinct使用子查询的形式来分开;

举例:

sql改造-

select t.*,ROW_NUMBER() OVER() from
(select distinct name,age,class,score from student where age = 10) t;

结果:

可以看到结果又经过了去重,又添加了排行列;

使用子查询先将数据查出来并且进行去重操作,然后将去重后的结果添加ROW_NUMBER()函数添加排行列,实测可用!

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Hive中,DISTINCT、GROUP BY和ROW_NUMBER()都可以用于去重,但它们的效率和使用场景有所不同。 DISTINCTDISTINCT是用于从查询结果中删除重复的行。它通常适用于查询结果较小的情况。如果查询结果比较大,DISTINCT可能会变得非常慢。因为在执行DISTINCT操作,需要对整个结果集进行排序和去重操作,这是一个非常耗费资源的过程。此外,DISTINCT还会影响查询的性能,因为它需要将数据从Map阶段传递到Reduce阶段,这会导致额外的网络开销。 GROUP BY: GROUP BY是用于对查询结果进行分组和聚合操作。它的效率比DISTINCT要高,因为它只需要对每个分组进行聚合操作,而不需要对整个结果集进行排序和去重操作。但是,如果分组键的基数比较大,GROUP BY可能会变得非常慢。 ROW_NUMBER(): ROW_NUMBER()函数可以用于给查询结果中的每一行分配一个唯一的数字。它通常用于分页操作。ROW_NUMBER()的效率比DISTINCT和GROUP BY要高,因为它只需要对查询结果进行遍历,而不需要对整个结果集进行排序和去重操作。但是,如果查询结果比较大,ROW_NUMBER()也可能会变得非常慢。 总的来说,对于去重操作,如果查询结果比较小,可以使用DISTINCT。如果查询结果比较大,并且需要进行分组和聚合操作,可以使用GROUP BY。如果需要进行分页操作,可以使用ROW_NUMBER()。但是,具体使用哪种方式取决于具体的查询场景。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值