2017-07-20#Hive Analytics Functions : row_number rank over

最新推荐文章于 2023-07-02 12:38:43 发布
最新推荐文章于 2023-07-02 12:38:43 发布
阅读量318 收藏
点赞数
分类专栏： 大数据仓库 mapreduce Hive 文章标签： HIve
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mulangren1988/article/details/87875038
版权

2017-07-20#Hive Analytics Functions : row_number rank over

在做数据分析是，会统计用户访问app不同页面的开始时间，理论上同一个用户访问不同页面的开始时间应该不同。为了排查app端是否存在bug，用到row_number() over () 窗口函数。

row_number over

sql如下

select
a.gu_id,starttime,
row_number() over (partition by gu_id order by starttime) rn
from test.fct_path_list_off_5levels a
where a.date = '2017-07-19'
and gu_id = "00000000-0000-0030-ffff-ffffef748aff";

效果如下：

a.gu_idstarttimern
00000000-0000-0030-ffff-ffffef748aff15004372847981
00000000-0000-0030-ffff-ffffef748aff15004372847982
00000000-0000-0030-ffff-ffffef748aff15004372859793
00000000-0000-0030-ffff-ffffef748aff15004372868454
00000000-0000-0030-ffff-ffffef748aff15004372878725
00000000-0000-0030-ffff-ffffef748aff15004372909026
00000000-0000-0030-ffff-ffffef748aff15004372916247
00000000-0000-0030-ffff-ffffef748aff15004372981898
00000000-0000-0030-ffff-ffffef748aff15004373165849
00000000-0000-0030-ffff-ffffef748aff150043732838810
00000000-0000-0030-ffff-ffffef748aff150043732854811
00000000-0000-0030-ffff-ffffef748aff150043734058312
00000000-0000-0030-ffff-ffffef748aff150044820022513
00000000-0000-0030-ffff-ffffef748aff150044820221914
00000000-0000-0030-ffff-ffffef748aff150044820298715

根据这个结果，我们可以知道，尽管有相同的记录，row_number还是会根据order by字段依次递增编号，且编号不重复。

rank() OVER

sql如下

select
a.gu_id,starttime,
rank() OVER (partition by gu_id order by starttime) rn
from test.fct_path_list_off_5levels a
where a.date = '2017-07-19'
and gu_id = "00000000-0000-0030-ffff-ffffef748aff";

结果如下：

a.gu_idstarttimern
00000000-0000-0030-ffff-ffffef748aff15004372847981
00000000-0000-0030-ffff-ffffef748aff15004372847981
00000000-0000-0030-ffff-ffffef748aff15004372859793
00000000-0000-0030-ffff-ffffef748aff15004372868454
00000000-0000-0030-ffff-ffffef748aff15004372878725
00000000-0000-0030-ffff-ffffef748aff15004372909026
00000000-0000-0030-ffff-ffffef748aff15004372916247
00000000-0000-0030-ffff-ffffef748aff15004372981898
00000000-0000-0030-ffff-ffffef748aff15004373165849
00000000-0000-0030-ffff-ffffef748aff150043732838810
00000000-0000-0030-ffff-ffffef748aff150043732854811
00000000-0000-0030-ffff-ffffef748aff150043734058312
00000000-0000-0030-ffff-ffffef748aff150044820022513
00000000-0000-0030-ffff-ffffef748aff150044820221914
00000000-0000-0030-ffff-ffffef748aff150044820298715

对比row_number 和 rank() OVER 的结果，可以发现，rank在处理相同的记录时候，编号是一样的，同时编号就不再连续，直到遇到有差异的记录。

Hive 官方文档

Hive LanguageManual+WindowingAndAnalytics

我的博客即将同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=3ckgexxns8g0o

mulangren1988
关注
专栏目录
[Hive]窗口函数与分析函数
SmartSi
02-22 3070
本文介绍了用于窗口函数和分析函数的Hive QL增强功能。所有窗口和分析函数操作都按照SQL标准。 当前版本支持以下窗口函数和分析函数：1 窗口函数LEAD 返回分区中当前行后面行（可以指定第几行）的值。 如果没有行，则返回NULL。LAG 返回分区中当前行之前行（可以指定第几行）的值。 如果没有行，则返回NULL。FIRST_VALUE 返回相对于窗口中第一行的指定列的值。LAST_VALUE
2020.9.19课堂笔记(hive聚合运算，窗口函数)
超可爱慕之
09-19 689
一.Hive聚合运算 - GROUP BY GROUP BY用于分组 Hive基本内置聚合函数与GROUP BY一起使用- 如果没有指定GROUP BY子句，则默认聚合整个表 除聚合函数外，所选的其他列也必须包含在GROUP BY中 GROUP BY支持使用CASE WHEN或表达式 select category, max(offervalue) from offers group by category; -- group by使用表达式 select if(category > 40
Hive函数：row_number() over() 、 rank和dense_rank
大数据学习与分享的博客
06-18 1557
row_number() over() 为查询出来的每一行记录生成一个序号。序号从1开始，按照顺序，生成分组内记录的序列，row_number()的值不会存在重复，当排序的值相同时，按照表中记录的顺序进行排列。 示例：利用row_number函数，对表中的数据根据id进行分组，按照pv倒序排序求最大的pv相关信息。 select t.id, t.date, t.pv from (select id, date, pv, row_number() over(partition by id ord
rank/row_number() OVER ()使用
Daniel's Blog
12-25 592
row_number() OVER (PARTITION BY COL1 ORDER BY COL2) 表示根据COL1分组，在分组内部根据 COL2排序，而此函数计算的值就表示每组内部排序后的顺序编号（组内连续的唯一的). 　　与rownum的区别在于：使用rownum进行排序的时候是先对结果集加入伪列rownum然后再进行排序，而此函数在包含排序从句后是先排序再计算行号码． 　　row_n
异或运算与rank() over,dense_rank() over和row_number() over区别
qq_41780297的博客
07-04 192
首先说一下十进制和二进制之间是怎么转换的 以正整数转换二进制为例： 将正的十进制数除以二，得到的商再除以二，依次类推直到商为0或1时为止，然后在旁边标出各步的余数，最后倒着写出来，高位补零，如下： 42的二进制数是101010 再把这个二进制转换成十进制怎么转换呢？ 如下，我们把每一位对应2的nc次方 如上即可转换为十进制42 好了知道如上的转换，我们还需要知道一点就是 ^表示的是异或运算----异或运算的规则是，同位如果不同则为1，相同为0 比如： 0的二进制是00，1的二进制为01，0^1，得到二
SQL 语句| rank() over、dense_rank() over和row_number() over
最新发布
天下弈星~的博客
07-02 2543
查出指定条件后的进行排名，条件相同排名相同，排名间断不连续。例如学生排名，使用这个函数，成绩相同的两名是并列，下一位同学空出所占的名次。即：1 1 3 4 5 5 7。
rank() over,dense_rank() over,row_number() over的区别
langweixiana的博客
11-30 146
rank() over,dense_rank() over,row_number() over的区别 1.rank() over：查出指定条件后的进行排名。特点是，加入是对学生排名，使用这个函数，成绩相同的两名是并列，下一位同学空出所占的名次。 select name,subject,score,rank() over(partition by subject order by score desc) rankfrom student_score; 2.dense_rank() over：与ran() o
Hive开窗函数实战2021-08-03-
heyianliunian的博客
08-03 270
1.基本语法 Function (arg1,..., argn) OVER ([PARTITION BY <...>] [ORDER BY <....>] [<window_expression>]) Function (arg1,…, argn) 可以是下面的函数： Aggregate Functions: 聚合函数,比如：sum(…)、 max(…)、min(…)、avg(…)等. Sort Functions: 数据排序函数, 比如 ：rank(…)、row_nu
HIve 分析和窗口函数 WindowingAndAnalytics
weixin_40901056的博客
04-27 395
HIve 分析和窗口函数 WindowingAndAnalytics 常见的GROUP BY 和 DISTRIBUTE BY 等语句并不能支持诸如分组排名、滑动平均值等计算，原因是 GROUP BY 语句只能为每个分组的数据返回一条记录，而非每条数据一行。但是，Hive 0.11之后引入了窗口查询功能，使用 WINDOW 语句我们可以基于分区和窗口，在实现分组分析的目的的同时，为每条数据都生成一行...
你真的懂Hive窗口函数吗，如何开窗聚合？
qq_35921007的博客
04-16 1174
目录 1 窗口函数 Windowing functions FIRST_VALUE(col, bool DEFAULT) LAST_VALUE(col, bool DEFAULT) LEAD(col, n, DEFAULT) LAG(col, n, DEFAULT) 2 OVER详解 The OVER clause FUNCTION(expr) OVER([PARTITION BY ...
ROW_NUMBER() OVER函数的基本用法 / Rank() over()的用法
u011277123的博客
06-21 2337
转自：http://www.cnblogs.com/icebutterfly/archive/2009/08/05/1539657.html 语法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) 简单的说row_number()从1开始，为每一条分组记录返回一个数字，这里的ROW_NUMBER() OVER (ORDER BY xl
ROW_NUMBER() OVER()函数用法详解 （分组排序 例子多）
热门推荐
trouble is a friend
09-18 56万+
语法格式：row_number() over(partition by 分组列 order by排序列 desc) row_number() over()分组排序功能： 在使用 row_number() over()函数时候，over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。 例一： 表数据： create table TEST_...
【数据库】row_number()/rank() over(PARTITION BY xxx ORDER BY的MySQL5.7实现
E_vens
10-29 5823
row_number()/rank() over(PARTITION BY class ORDER BY的MySQL5.7实现
数据库排名函数(rank() over/dense_rank() over/row_number() over/ntile)
幻欢子
12-23 4463
sqlserver数据库有四种排名方式，本文逐一说明。 RANK() OVER DENSE_RANK() OVER ROW_NUMBER() OVER NTILE 测试数据准备： CREATE TABLE rank_over_test( stuName VARCHAR(32), subjectName VARCHAR(32), score FLOAT ); INSERT INT...
SQL开窗函数-排序：rank、dense_rank、row_number
weixin_46010244的博客
12-23 3712
SQL开窗函数-排序：rank、rank_number、dense_rank
rank over 、dense_rank over 、row_number over函数的使用区别
qq_45048256的博客
05-06 2757
1.rank() over 查询出指定的条件进行排名，条件相同排名相同的话，排名之间是不连续的 例如排名如 1 2 3 3 5 6 7 等，相同的排名会自动跳过 2.dense_rank() over 查询出指定的条件后进行排名，条件相同，排名相同的话，排名是连续的，但是会出现并列的情况，不会出现空出的排名情况 ，例如 1 2 3 3 4 5 6 7 等 3.row_number() over 查询出指定条件后进行排名，条件相同，排名相同的话，排名是连续的，不会出现并列的情况 例如排名 1 2
row_number()over() 和 rank()over()的区别
qq_37314497的博客
04-25 3339
select employee.*,row_number()over(partition by deptid order by salary desc) rank from employee; select employee.*,rank()over(partition by deptid order by salary desc) rank from employee; ...
oracle中rank() over, dense_rank(), row_number() 的区别
技术人生
04-16 1万+
假设现在有一张学生表student，学生表中有姓名、分数、课程编号，现在我需要按照课程对学生的成绩进行排序。 select * from student 1. rank over ()可以实现对学生排名，特点是成绩相同的两名是并列，如下1 2 2 4 5 2. dense_rank()和rank over()很像，但学生成绩并列后并不会空出并列所占的名次，如下1 2 2
eagle Oracle中row_number()、rank()、dense_rank() 的区别
IT的鱼
04-26 335
row_number的用途非常广泛，排序最好用它，它会为查询出来的每一行记录生成一个序号，依次排序且不会重复，注意使用row_number函数时必须要用over子句选择对某一列进行排序才能生成序号。 rank函数用于返回结果集的分区内每行的排名，行的排名是相关行之前的排名数加一。简单来说rank函数就是对查询出来的记录进行排名，与row_number函数不同的是，rank函数考虑到了over子句...
Hive窗口函数详解：ROW_NUMBER, RANK与DENSE_RANK
"这篇文档详细介绍了Hive的开窗函数，包括ROW_NUMBER、RANK和DENSE_RANK，以及它们在处理数据时的应用示例。" 在大数据处理领域，Hive作为一个基于Hadoop的数据仓库工具，提供了丰富的SQL接口来对大规模数据进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值