Hive--窗口函数

最新推荐文章于 2022-08-30 23:14:29 发布
最新推荐文章于 2022-08-30 23:14:29 发布
阅读量1.2k 收藏
点赞数
分类专栏： Hive 文章标签： hive sql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46208769/article/details/121607995
版权

 首先创建数据库表数据：

mysql> CREATE TABLE sales(
    ->       sales_employee VARCHAR(50) NOT NULL,
    ->       fiscal_year INT NOT NULL,
    ->       sale DECIMAL(14,2) NOT NULL,
    ->       PRIMARY KEY(sales_employee,fiscal_year)
    ->   );

mysql> INSERT INTO sales(sales_employee,fiscal_year,sale) VALUES('Bob',2016,100),
    ->       ('Bob',2017,150),
    ->       ('Bob',2018,200),
    ->       ('Alice',2016,150),
    ->       ('Alice',2017,100),
    ->       ('Alice',2018,200),
    ->       ('John',2016,200),
    ->       ('John',2017,150),
    ->       ('John',2018,250);

mysql> select * from sales;
+----------------+-------------+--------+
| sales_employee | fiscal_year | sale   |
+----------------+-------------+--------+
| Alice          |        2016 | 150.00 |
| Alice          |        2017 | 100.00 |
| Alice          |        2018 | 200.00 |
| Bob            |        2016 | 100.00 |
| Bob            |        2017 | 150.00 |
| Bob            |        2018 | 200.00 |
| John           |        2016 | 200.00 |
| John           |        2017 | 150.00 |
| John           |        2018 | 250.00 |
+----------------+-------------+--------+

window子句： 
- PRECEDING：往前 
- FOLLOWING：往后 
- CURRENT ROW：当前行 
- UNBOUNDED：起点

UNBOUNDED PRECEDING 表示从前面的起点

UNBOUNDED FOLLOWING：表示到后面的终点

mysql> select fiscal_year, sales_employee, sale,
    -> sum(sale) over(partition by fiscal_year rows between 1 preceding and current row)
    -> as per_total_sales, sum(sale) over(partition by fiscal_year) as total_sales
    -> from sales ;
+-------------+----------------+--------+-----------------+-------------+
| fiscal_year | sales_employee | sale   | pre_total_sales | total_sales |
+-------------+----------------+--------+-----------------+-------------+
|        2016 | Alice          | 150.00 |          150.00 |      450.00 |
|        2016 | Bob            | 100.00 |          250.00 |      450.00 |
|        2016 | John           | 200.00 |          300.00 |      450.00 |
|        2017 | Alice          | 100.00 |          100.00 |      400.00 |
|        2017 | Bob            | 150.00 |          250.00 |      400.00 |
|        2017 | John           | 150.00 |          300.00 |      400.00 |
|        2018 | Alice          | 200.00 |          200.00 |      650.00 |
|        2018 | Bob            | 200.00 |          400.00 |      650.00 |
|        2018 | John           | 250.00 |          450.00 |      650.00 |
+-------------+----------------+--------+-----------------+-------------+


mysql> select fiscal_year, sales_employee, sale,
    -> sum(sale) over(partition by fiscal_year rows between current row and unbounded following)
    -> as cur_un_fol, sum(sale) over(partition by fiscal_year) as total_sales
    -> from sales ;
+-------------+----------------+--------+------------+-------------+
| fiscal_year | sales_employee | sale   | cur_un_fol | total_sales |
+-------------+----------------+--------+------------+-------------+
|        2016 | Alice          | 150.00 |     450.00 |      450.00 |
|        2016 | Bob            | 100.00 |     300.00 |      450.00 |
|        2016 | John           | 200.00 |     200.00 |      450.00 |
|        2017 | Alice          | 100.00 |     400.00 |      400.00 |
|        2017 | Bob            | 150.00 |     300.00 |      400.00 |
|        2017 | John           | 150.00 |     150.00 |      400.00 |
|        2018 | Alice          | 200.00 |     650.00 |      650.00 |
|        2018 | Bob            | 200.00 |     450.00 |      650.00 |
|        2018 | John           | 250.00 |     250.00 |      650.00 |
+-------------+----------------+--------+------------+-------------+

row_number() 、rank()、dense_rank()       排序

mysql> select fiscal_year,sales_employee,sale,row_number() over(partition by fiscal_year) from sales;
+-------------+----------------+--------+---------------------------------------------+
| fiscal_year | sales_employee | sale   | row_number() over(partition by fiscal_year) |
+-------------+----------------+--------+---------------------------------------------+
|        2016 | Alice          | 150.00 |                                           1 |
|        2016 | Bob            | 100.00 |                                           2 |
|        2016 | John           | 200.00 |                                           3 |
|        2017 | Alice          | 100.00 |                                           1 |
|        2017 | Bob            | 150.00 |                                           2 |
|        2017 | John           | 150.00 |                                           3 |
|        2018 | Alice          | 200.00 |                                           1 |
|        2018 | Bob            | 200.00 |                                           2 |
|        2018 | John           | 250.00 |                                           3 |
+-------------+----------------+--------+---------------------------------------------+


mysql> select fiscal_year,sales_employee,sale,rank() over(partition by fiscal_year order by sale) from sales;
+-------------+----------------+--------+-----------------------------------------------------+
| fiscal_year | sales_employee | sale   | rank() over(partition by fiscal_year order by sale) |
+-------------+----------------+--------+-----------------------------------------------------+
|        2016 | Bob            | 100.00 |                                                   1 |
|        2016 | Alice          | 150.00 |                                                   2 |
|        2016 | John           | 200.00 |                                                   3 |
|        2017 | Alice          | 100.00 |                                                   1 |
|        2017 | Bob            | 150.00 |                                                   2 |
|        2017 | John           | 150.00 |                                                   2 |
|        2018 | Alice          | 200.00 |                                                   1 |
|        2018 | Bob            | 200.00 |                                                   1 |
|        2018 | John           | 250.00 |                                                   3 |
+-------------+----------------+--------+-----------------------------------------------------+


mysql> select fiscal_year,sales_employee,sale,dense_rank() over(partition by fiscal_year order by sale) from sales;
+-------------+----------------+--------+-----------------------------------------------------------+
| fiscal_year | sales_employee | sale   | dense_rank() over(partition by fiscal_year order by sale) |
+-------------+----------------+--------+-----------------------------------------------------------+
|        2016 | Bob            | 100.00 |                                                         1 |
|        2016 | Alice          | 150.00 |                                                         2 |
|        2016 | John           | 200.00 |                                                         3 |
|        2017 | Alice          | 100.00 |                                                         1 |
|        2017 | Bob            | 150.00 |                                                         2 |
|        2017 | John           | 150.00 |                                                         2 |
|        2018 | Alice          | 200.00 |                                                         1 |
|        2018 | Bob            | 200.00 |                                                         1 |
|        2018 | John           | 250.00 |                                                         2 |
+-------------+----------------+--------+-----------------------------------------------------------+

ntile(3) 分组： 

mysql> select sales.*, ntile(3) over(order by fiscal_year) GroupId from sales;
+----------------+-------------+--------+---------+
| sales_employee | fiscal_year | sale   | GroupId |
+----------------+-------------+--------+---------+
| Alice          |        2016 | 150.00 |       1 |
| Bob            |        2016 | 100.00 |       1 |
| John           |        2016 | 200.00 |       1 |
| Alice          |        2017 | 100.00 |       2 |
| Bob            |        2017 | 150.00 |       2 |
| John           |        2017 | 150.00 |       2 |
| Alice          |        2018 | 200.00 |       3 |
| Bob            |        2018 | 200.00 |       3 |
| John           |        2018 | 250.00 |       3 |
+----------------+-------------+--------+---------+

Higher?
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive窗口函数
01-09
hive窗口系列函数
Hive：窗口函数
热门推荐
不花的花和尚的博客
09-20 4万+
简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。 概念 我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数...
HIVE窗口函数---窗口大小（累加等）
ganghaodream的博客
10-30 2674
参考链接:https://www.cnblogs.com/alexzhang92/p/10650990.html selectname,orderdate,cost, sum(cost) over() as sample1,--所有行相加 sum(cost) over(partition by name) as sample2,--按name分组，组内数据相加 sum(cost) ...
hive 窗口函数
yjgithub的博客
08-30 486
文章目录sum,avg,min,max 函数row_number,rank,dense_rank,ntile 函数lag,lead,first_value,last_value 函数grouping sets,grouping_id,cube,rollup 函数 在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。
Hive窗口函数
weixin_45264992的博客
10-26 82
Hive窗口函数 概述： 窗口函数也叫开窗函数，OLAP函数，其最大特点是：输入值是从SELECT语句的结果集中的一行或多行的“窗口”中获取的。 如果函数具有OVER子句，则它是窗口函数。 窗口函数可以简单解释为类似于聚合函数的计算函数，但是通过GROUP BY子句组合的常规聚合会隐藏正在聚合的各个行，最终输出一行，窗口聚合函数后还可以访问当中各个行，并且可以将这些行中的某些属性添加到结果集中。 窗口聚合函数执行结果： 窗口表达式： 窗口排序函数： 代码示例： 窗口排序函数——ntile 窗
Hive 窗口函数
01-07
over()：指定分析函数工作的数据窗口的大小，这个数据窗口大小会随着行的变而变化。over跟在聚合函数后面，只对聚合函数生效。 current row：当前行 n preceding：往前n行数据 n following：往后n行数据 unbounded：...
快速学习-Hive函数
01-20
第 7 章 函数 7.1 系统内置函数 1）查看系统自带的函数 ...2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3）根据用户自定义函数
hive窗口函数.docx
07-08
数据蛙hive窗口函数 - 精心总结
02.hive内置函数--窗口分析函数--row_number_over.mp4
04-29
02.hive内置函数--窗口分析函数--row_number_over.mp4
Hive 的窗口函数
程序员小陶的大数据分享
01-31 348
本文首发于：微信公众号【大数据每日哔哔，文章：Hive SQL 窗口函数 在 SQL 中有一类函数叫做聚合函数，例如 sum()、avg()、max()、min() 等等，这类函数可以将多行数据按照规则聚集为一行，一般来讲聚集后的行数是要少于聚集前的行数的。但是，有时候我们既要显示聚集前的数据，又要显示聚集后的数据，此时我们便引入了窗口函数。窗口函数主要用于 OLAP 数据分析。 在深入研究Ove...
hive:窗口函数
ximen_zhou的博客
05-26 577
简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。 概念 我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数. 在深入研究Over字句之前，一定要注意：在SQL处理中，窗口函数都是最后一步执行，而且
Hive 之 窗口函数
ly13607255628的博客
10-10 462
目录1、 窗口基本用法1.1 over 关键字1.2 partition by子句1.3 order by 子句2、Window子句3、排名函数4、序列函数5、GROUPING SETS、GROUPING__ID、CUBE和ROLLUP 窗口函数又名开窗函数，属于分析函数的一种。用于解决复杂报表统计需求的功能强大的函数，很多场景都需要用到。窗口函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。 1、 窗口基本用法 1.1 over 关键字 使用窗口
【Hive】Hive窗口函数
victorzzzz的专栏
04-07 278
窗口函数是用于分析用的一类函数，要理解窗口函数要先从聚合函数说起。 聚合函数是将某列中多行的值合并为一行，比如sum、count等。 窗口函数则可以在本行内做运算，得到多行的结果，即每一行对应一行的值。 通用的窗口函数可以用下面的语法来概括： Function() Over (Partition By Column1，Column2，Order By Column3) FIRST_VAL...
hive窗口函数(开窗函数)
最新发布
weixin_44870066的博客
08-30 7604
hive开窗函数
Hive的窗口函数[附实例]
idataduck的博客
04-05 191
文章目录 Hive的窗口函数 准备测试数据 聚合函数+over() 用法描述 用法示例 未指定分组和排序 未指定排序 未指定分组 指定排序和分组 加上window子句 窗口函数 用法描述 LEAD函数和LAG函数 FIRST_VALUE函数和LAST_VALUE函数 分析函数 用法描述 更改测试数据 ROW_NUMBER函数、RANK函数和DENSE_RANK函数 CUME_DIST 函数 PERCENT_RANK函数 NTILE函数 参考网址

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值