Hive窗口函数详解

最新推荐文章于 2024-08-05 11:49:09 发布

置顶

今夕何夕-l

最新推荐文章于 2024-08-05 11:49:09 发布

阅读量2.8k

点赞数 1

分类专栏： Hive 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_47947471/article/details/108976022

版权

本文详细介绍了Hive窗口函数的使用，包括聚合函数、Partition By、Order By、Window子句的应用，以及NTILE、row_number()、rank()、dense_rank()等序列函数的实例解析，还探讨了LAG、LEAD、first_value和last_value函数的功能和用法，帮助理解复杂的数据计算和聚合操作。

摘要由CSDN通过智能技术生成

1.概述
(1)窗口函数是一组特殊函数
①扫描多个输入行来计算每个输出值，为每行数据生成一行结果
②可以通过窗口函数来实现复杂的计算和聚合

(2)语法

Function (arg1,..., arg n) OVER ([PARTITION BY <...>] [ORDER BY <....>] [<window_clause>])

①PARTITION BY类似于GROUP BY，未指定则按整个结果集
②只有指定ORDER BY子句之后才能进行窗口定义
③可同时使用多个窗口函数
④过滤窗口函数计算结果必须在外面一层

2.聚合函数
(1)聚合函数+over:
①数据准备:我们准备一张order表,字段分别为name,orderdate,cost.数据内容如下:

jack,2015-01-01,10
tony,2015-01-02,15
jack,2015-02-03,23
tony,2015-01-04,29
jack,2015-01-05,46
jack,2015-04-06,42
tony,2015-01-07,50
jack,2015-01-08,55
mart,2015-04-08,62
mart,2015-04-09,68
neil,2015-05-10,12
mart,2015-04-11,75
neil,2015-06-12,80
mart,2015-04-13,94

②案例:查询在2015年4月份购买过的顾客及总人数

select name,count(*) over ()
from t_window
where substring(orderdate,1,7) = '2015-04'

结果如下:

name    count_window_0
mart    5
mart    5
mart    5
mart    5
jack    5

③分析:可见其实在2015年4月一共有5次购买记录,mart购买了4次,jack购买了1次.事实上,大多数情况下,我们是只看去重后的结果的.针对于这种情况,我们有两种实现方式
distinct

select distinct name,count(*) over ()
from t_window
where substring(orderdate,1,7) = '2015-04'

group by

select name,count(*) over ()
from t_window
where substring(orderdate,1,7) = '2015-04'
group by name

得到结果如下:

name count_window_0 
mart 2 
jack 2

(2)Partition By子句
①概念:Over子句之后第一个提到的就是Partition By.Partition By子句也可以称为查询分区子句，非常类似于Group By，都是将数据按照边界值分组，而Over之前的函数在每一个分组之内进行，如果超出了分组，则函数会重新计算。
②实例:

select name,orderdate,cost,sum(cost) over(partition by month(orderdate))
from t_window

结果如下:

name    orderdate   cost    sum_window_0
jack    2015-01-01  10  205
jack    2015-01-08  55  205
tony    2015-01-07  50  205
jack    2015-01-05  46  205
tony    2015-01-04  29  205
tony    2015-01-02  15  205
jack    2015-02-03  23  23
mart    2015-04-13  94  341
jack    2015-04-06  42