Spark SQL中的三个排序函数：rank()，dense_rank()，row_number()

最新推荐文章于 2024-05-15 22:25:57 发布
最新推荐文章于 2024-05-15 22:25:57 发布
阅读量338 收藏
点赞数 2
文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42108602/article/details/137545214
版权

1. rank()

排序字段值相同时，数据的排名并列且会空出并列所占的名次，例如下面的排序号：1 2 2 4 5。注：使用此函数时，排序字段值NULL是最大的，当按字段值倒序排序时，可能导致具有NULL值字段的记录排在最前面，影响排序结果。

2. dense_rank()

不同于rank()，dense_rank()在排序字段值相同时，数据的排名并列但不会空出并列所占的名次，例如下面的排序号：1 2 2 3 4。

3. row_number()

排序字段值相同时，数据的排名不会并列，会进行连续排名。

参考

https://www.cnblogs.com/yqq-blog/p/13219928.html

小趴菜的知识库
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
SparkCore / SparkSQL中窗口函数RANK, DENSE_RANK, ROW_NUMBER的区别
weixin_42379136的博客
01-28 3848
RANK， DENSE_RANK， ROW_NUMBER都是把表中的行按分区内的排序标上序号，但有一点差别： RANK：可以生成不连续的序号，比如按分数排序，第一第二都是100分，第三名98分，那第一第二就会显示序号1，第三名显示序号3。 DENSE_RANK： 生成连续的序号，在上一例子中，第一第二并列显示序号1，第三名会显示序号2。 ROW_NUMBER: 顾名思义就是行的数值，在上一例...
解决Spark窗口统计函数rank()、row_number()、percent_rank()的OOM问题
hwj_wayne的博客
01-22 4662
目录 1. 窗口函数功能介绍 一个简单的例子 一个复杂的例子 2.数据量过大时的OOM问题 问题及原因 解决方法1：用SQL处理 解决方法2：转为rdd进行处理 解决方法3：将数据量过多的分组进行随机打散，从而近似排序 1. 窗口函数功能介绍 在利用Spark SQL按分组统计每个组内topN，或者相对某个指标归一化到[0,1]区间上时，可以使用spark的窗口函数...
Spark总结
最新发布
W_051的博客
05-15 995
Spark是Apache软件基金会下的一个开源大数据处理框架，它最初由加州大学伯克利分校的AMPLab开发。Spark提供了一个快速、通用的大规模数据处理引擎，具有内存计算的优势，使得它能够比传统的基于磁盘的数据处理系统（如Hadoop MapReduce）快得多。内存计算：Spark的主要优势之一是它的内存计算能力。通过将数据加载到内存中，Spark能够减少磁盘I/O的延迟，从而显著提高处理速度。Spark还支持将数据缓存在内存中，以便在多个作业之间重复使用，进一步提高性能。统一编程模型。
SparkSQL开窗函数 row_number()
weixin_30897079的博客
04-30 1291
开始编写我们的统计逻辑，使用row_number()函数 先说明一下，row_number()开窗函数的作用 其实就是给每个分组的数据，按照其排序顺序，打上一个分组内行号 比如说，有一个分组20151001，里面有三条数据，1122，1121，1124 那么对这个分组的每一行使用row_number()开窗函数以后，三行依次会获得一个组内的行号 行号从1开始递增，比如1122，1 1121，2...
sparksql：去重row_number，生成排序序号 ：RANK, DENSE_RANK, ROW_NUMBER的区别
zhuchunyan_aijia的博客
02-03 3588
https://blog.csdn.net/qq_39869388/article/details/80422472 去重： select date,phone from (select *,row_number() over (partition by phone order by date) num from tmp_table1) t where t.num=1 第一步：select ...
Spark Sql orderby排序使用测试
weixin_41939278的博客
11-03 8825
版本信息：Spark 2.2-hadoop-2.6 1、使用Spark Shell方式测试1g数据 （1）测试sql：SELECT * FROM rddTable order by age 先打开spark集群， /…/…/sbin/start-all.sh 然后启动spark shell： ./spark-shell --master spark://10.47.85.158:7077 --...
Spark开窗函数之ROW_NUMBER()
bokzmm的博客
03-22 1万+
  一、row_number函数的用法：   （1）Spark 1.5.x版本以后，在Spark SQL和DataFrame中引入了开窗函数,其中比较常用的开窗函数就是row_number      该函数的作用是根据表中字段进行分组，然后根据表中的字段排序；其实就是根据其排序顺序，给组中的每条记录添      加一个序号；且每组的序号都是从1开始，可利用它的这个特性进行分组取top-n...
Spark的Dataset操作(三)-分组，聚合，排序
热门推荐
coding_hello的专栏
07-14 4万+
spark sql的分组聚合操作，包括groupBy, agg, count, max, avg, sort, orderBy等函数示例
Oracle开发之分析函数(Rank, Dense_rank, row_number)
09-10
Oracle分析函数Rank、Dense_rank和row_number是用于处理数据集的高级工具，它们在数据库查询中发挥着关键作用，特别是在需要对数据进行排序和分组时。这三种函数都有各自的特点，适用于不同的业务场景。 1. **row_...
SQL2005 四个排名函数(row_number、rank、dense_rank和ntile)的比较
09-11
rank函数与rank函数类似，同样考虑到了排序字段值相同的情况，但它的处理方式是连续分配序号，不会因为值的重复而跳过序号。还是以上述为例，当field1字段值相同时，dense_rank函数会连续分配序号，即后三条记录的...
sql四大排名函数之ROW_NUMBER、RANK、DENSE_RANK、NTILE使用介绍
09-08
主要介绍了sql四大排名函数之ROW_NUMBER、RANK、DENSE_RANK、NTILE使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
SQLSERVER 2005的ROW_NUMBER、RANK、DENSE_RANK的用法
09-11
在SQL Server 2005中，ROW_NUMBER()、RANK()和DENSE_RANK()是三个重要的排名函数，它们在数据分析和查询优化方面扮演着重要角色。这些函数可以帮助用户更方便地处理排序和分组数据，尤其在处理大量数据时。 1. ROW_...
实例讲解sql server排名函数DENSE_RANK的用法
09-10
传统的`ROW_NUMBER()`函数可以做到这一点，但当存在相同分数时，它会给每个相同分数的学生分配不同的排名。而`DENSE_RANK`则可以解决这个问题，确保相同分数的学生共享相同的排名。 让我们看看如何使用`DENSE_RANK`...
oracle中rank() over, dense_rank(), row_number() 的区别
技术人生
04-16 1万+
假设现在有一张学生表student，学生表中有姓名、分数、课程编号，现在我需要按照课程对学生的成绩进行排序。 select * from student 1. rank over ()可以实现对学生排名，特点是成绩相同的两名是并列，如下1 2 2 4 5 2. dense_rank()和rank over()很像，但学生成绩并列后并不会空出并列所占的名次，如下1 2 2
Sql 四大排名函数（ROW_NUMBER、RANK、DENSE_RANK、NTILE）简介
hyfound的博客
09-28 428
排名函数是Sql Server2005新增的功能，下面简单介绍一下他们各自的用法和区别。我们新建一张Order表并添加一些初始数据方便我们查看效果。   　　附上表结构和初始数据图： 　　   一、ROW_NUMBER 　　row_number的用途的非常广泛，排序最好用他，一般可以用来实现web程序的分页，他会为查询出来的每一行记录生成一个序号，依次排
Spark SQL案例：分组排行榜
py20010218的博客
06-17 352
SparkSQL案例：分组排行榜
spark row_number() over() 的使用注意事项
T-Whong
01-07 3075
开窗函数 row_number() over() 使用方法 命令格式 row_number() over(partition by <col1>[, <col2>…] order by <col1>[asc|desc][, <col2>[asc|desc]…]) 命令说明 计算行号，从1开始。 参数说明 partition by <col1>[, <col2>…]：至少指定1个开窗口的列。 order by col1[asc|des
SparkSQL中4个排序的区别
weixin_41008393的博客
01-28 1705
ORDER BY和SORT BY和DISTRIBUTE BY和CLUSTER BY的区别
Hive sql rank dense_rank row_number
06-07
在 Hive SQL 中，可以使用窗口函数（Window Function）来实现类似于 rank、dense_rank 和 row_number 这样的排名函数。 1. RANK RANK 函数用于计算排名，返回每个分组中按照指定的列排序后的排名。如果有多条记录的排序值相同，则它们的排名也相同，并且下一个排名会跳过相应的记录数。例如： ```sql SELECT name, score, RANK() OVER (PARTITION BY subject ORDER BY score DESC) AS rank FROM mytable; ``` 2. DENSE_RANK DENSE_RANK 函数和 RANK 函数类似，但是它不会跳过相同排名的记录，而是按照相同排名的记录数进行计算排名。例如： ```sql SELECT name, score, DENSE_RANK() OVER (PARTITION BY subject ORDER BY score DESC) AS dense_rank FROM mytable; ``` 3. ROW_NUMBER ROW_NUMBER 函数用于为每条记录分配一个唯一的行号，不考虑分组和排序。例如： ```sql SELECT name, score, ROW_NUMBER() OVER () AS row_number FROM mytable; ``` 这些窗口函数可以根据需要进行组合使用，以实现更加复杂的排名需求。需要注意的是，窗口函数只能在 SELECT 子句和 ORDER BY 子句中使用，不能用于 WHERE 子句和 HAVING 子句中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值