【Hive】hive窗口函数/分析函数 over子句

最新推荐文章于 2024-08-04 14:17:30 发布
最新推荐文章于 2024-08-04 14:17:30 发布
阅读量1.1k 收藏 6
点赞数
分类专栏： Hadoop Hive 文章标签： hive over子句 hive开窗函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiajane/article/details/103846984
版权
本文详细介绍了Hive中的over子句，包括其作用、开窗范围、window clause，以及row_number、rank和dense_rank等常用开窗函数的使用。通过案例解释了如何在Hive中利用over子句解决部门内排名问题。
摘要由CSDN通过智能技术生成

文章目录

over子句介绍

over子句参考链接 https://blog.csdn.net/czr11616/article/details/101645693

1. 什么是over子句

我们可以形象的把over()子句理解成开窗子句，即打开一个窗口，窗口内包含多条记录，over()会给每一行开一个窗口。如下图，总共有5条记录，每一行代表一条记录，over()在每一条记录的基础上打开一个窗口，给r1记录打开w1窗口，窗口内只包含自己，给r2打开w2窗口，窗口内包含r1、r2，给r3打开w3窗口，窗口内包含r1、r2、r3，以此类推…
在这里插入图片描述
由上我们不难发现，在使用over()子句进行查询的时候， 不仅可以查询到每条记录的信息，还可以查询到这条记录对应窗口内的所有记录的聚合信息，所以我们通常结合聚合函数和over()子句一起使用。

那么over()是如何进行开窗的呢？即每条记录对应的窗口内应该包含哪些记录呢？这些都是在over()子句的括号内进行定义。

2. over子句的开窗范围

在这里插入图片描述

  • current row代表查询的当前行
  • 1 preceding代表前一行
  • 1 following代表后一行
  • unbounded preceding代表第一行
  • unbounded following代表最后一行。

（注意这里的第一行和最后一行并不是严格的第一行和最后一行，根据具体情况而定）

3. window clause

over()子句的开窗范围可以通过window 子句（window clause）在over()的括号中定义，window clause的规范如下：

(ROWS | RANGE) BETWEEN (UNBOUNDED | [num]) PRECEDING AND ([num] PRECEDING | CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)
(ROWS | RANGE) BETWEEN CURRENT ROW AND (CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)
(ROWS | RANGE) BETWEEN [num] FOLLOWING AND (UNBOUNDED | [num]) FOLLOWING

例如 ：

select *,sum(column_name) over( rows between unbounded preceding and unbounded following) from table_name

表示查询每一行的所有列值，同时给每一行打开一个从第一行到最后一行的窗口，并统计窗口内所有记录的column_name列值的和。最后给每一行输出该行的所有属性以及该行对应窗口内记录的聚合值。

4. over子句默认值

如果over()子句中什么都不写的话，默认开窗范围是：rows between unbounded preceding and unbounded following

4.1 order by

如果over()子句中接
最低0.47元/天 解锁文章
时间的美景
关注
专栏目录
HIVE over() 超全讲解
csdn问鼎
06-16 2万+
over() over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总结下over函数划定窗口的范围 id name num 1 a 1 2 b 3 3 a 5 4 c 9 5 b 3 over() 此时每一行的窗口都是所有的行 SELECT id,name,num, sum(num) ov...
(07)Hive——窗口函数详解
爱吃辣条的博客
02-11 3938
Hive窗口函数详解
Hive窗口函数
weixin_38387008的博客
10-30 313
Hive窗口函数学习 1、over()窗口函数的语法结构 分析函数 over(partition by 列名 order by 列名 rows between 开始位置 and 结束位置 ） partition by 可以理解为 group by 分组 分析函数按照每一组的数据开始进行计算的 row between 开始位置 and 结束位置 是指窗口函数的范围，从当前第一行到当前行 比较常用的是 rows between unbounded preceding and current row 常用
Hive 窗口函数（开窗函数） over
热门推荐
不是一枚开发
09-16 7万+
文章目录OVER函数1.含义：2.示例： OVER函数 1.含义： 窗口函数主要解决 分析整体数据时，多个数据和一个结果对应，为每一条数据开启指定行范围的窗口； over() 指定 分析函数 工作时的数据窗口大小，这个窗口大小可能会随行的改变而改变； 用于between … and … 表示范围概念： CURRENT ROW：当前行 n PRECEDING：往前n行数据 n FOLLOWING：往后n行数据 UNBOUNDED：起点， UNBOUNDED PRECEDING 表示从前面的起点， UNBOUN
hive窗口函数over()
TU_JCN的博客
07-23 3034
over()，指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。
Hive中的开窗操作over()
小卧底的博客
03-31 982
前提 over() 可以为 聚合函数或者窗口函数进行开窗操作； 开窗之后，每一行的数据都会对应一个数据窗口，这个数据窗口中的数据可能会随着行的变化而变化。 over(参数) 中可以指定的参数 partition by col：按照col进行分区（类似于分组），每个分区拥有自己独立的数据窗口 order by col：窗口中的数据按照col进行排序；当over与聚合函数一起使用时，如果指定了order by，那么数据窗口中的数据=上一次窗口中的数据+当前行 数据准备 name orderdate c
Hive中窗口函数 over()
weixin_44175698的博客
12-03 1072
over() 粗浅理解：一行对应一个窗口，至于这个窗口的范围是什么就要看over()函数里面对窗口范围的约束是什么了 over()函数中包括三个函数：包括分区partition by 列名、排序order by 列名、指定窗口范围rows between 开始位置 and 结束位置。 我们在使用over()窗口函数时，over()函数中的这三个函数可组合使用也可以不使用。 over() 默认的效果和order by类似，即第一行窗口大小为1，第二行窗口大小为2，以此类推，但是数据只不过没有什统计意义，所以一
hive 开窗函数over()
qq_28603127的博客
07-10 1314
开窗函数over()是将聚合函数以列的形式展开,替代之前需要join的处理 数据: CREATE TABLE `test`( `id` int, `class` string, `name` string, `score` int); insert into test values (1,'a','zhang',90), (2,'a','li',80), (3,'a','zhao',95), (4,'a','qian',85), (5,'a','sun',60), (6,'a',
hive：窗口函数/开窗函数 OVER()（笔记）
不花的花和尚的博客
02-27 1269
6.7.4窗口函数（开窗函数） 1．相关函数说明 OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。 CURRENT ROW：当前行 nPRECEDING：往前n行数据 nFOLLOWING：往后n行数据 UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDEDFOLLOWING表示到后面的终点...
HiveSQL基础窗口函数学习笔记
08-30
本学习笔记主要聚焦于HiveSQL中的窗口函数，这是进行复杂数据分析的重要工具。 窗口函数允许我们在一个数据集上进行计算，而不仅仅是基于单行记录，而是基于一个“窗口”内的多行数据。这个窗口可以是当前行及其...
Hive SQL ——窗口函数源码阅读
最新发布
爱吃辣条的博客
08-04 1648
Hive SQL ——窗口函数源码阅读
hive over() row_name()的实践
u012247315的博客
09-13 352
1over后的写法 over（order by salary） 按照salary排序进行累计，order by是个默认的开窗函数 over（partition by deptno）按照部门分区 over（partition by deptno order by salary） 2开窗的窗口范围 over（order by salary range between 5 preceding and
Hive中over详解
m0_57320261的博客
10-24 1657
over() over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总结下over函数划定窗口的范围 over() 此时每一行的窗口都是所有的行 SELECT id,name,num, sum(num) over() sum1 from aa over(order by id) id=1的窗口只有一行，id=2的窗口包括id=1,id=2 SELECT id,name,num, sum(num) over(orde...
HQL window 窗口函数
技术大神之路
09-11 1361
HQL窗口函数声明：资料整理于网络，仅供参考学习，如有侵权，概不负责。数据准备Over函数NTILEROW_NUMBERRANK 和 DENSE_RANKCUME_DIST 和 PERCENT_RANKCUME_DISTPERCENT_RANKLAG LEAD FIRST_VALUE LAST_VALUELAGLEADFIRST_VALUE 和 LAST_VALU...
Hive中over()函数详解
感谢你的关注~~~~ღ( ´･ᴗ･` )
02-02 784
over() over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总结下over函数划定窗口的范围 id name num 1 a 1 2 b 3 3 a 5 4 c 9 5 b 3 over() 此时每一行的窗口都是所有的行 SELECT id,name,num, sum(num) over() sum1 from aa ov.
Hive——over（窗口函数）详解
d_l_w_d_l_w的博客
10-08 1854
over() over() 函数在Hive中运用广泛，通常搭配row_number() ,min(),max(),sum()来使用,总结下over函数划定窗口的范围 over() 因为没设置窗口范围，此时每一行的窗口都是所有的行。 SELECT id, name, num, sum(num) over() sum1 from aa 也就是每一行后面的sum1是对所有行的num进行sum(num)操作，如果设置好窗口范围，每一行后面的结果是对以当前行为中心按照窗口范围内的行进行sum(
HIVE中的OVER函数解析
zhao_guo_feng的博客
07-10 915
over函数解析
hive窗口函数（over）详解
weixin_43866709的博客
08-01 4107
hive窗口函数： 一.函数说明： OVER():指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化 CURRENT ROW:当前行 n PRECEDING:往前n行数据 n FOLLOWING:往后n行数据 UNBOUNDED:起点，UNBOUNDED PRECEDING表示从前面的起点，UNBOUNDED FOLLOWING表示到后面的终点 LAG(col,n)往前第n行数...
Hive窗口函数详解与示例
窗口函数通过`OVER()`子句定义数据窗口，并可以结合`PARTITION BY`、`ORDER BY`以及`ROWS BETWEEN`等关键字来精细化窗口范围。这些功能使得窗口函数在处理时间序列数据、计算动态排名、趋势分析等方面非常有用。以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值