转载：Hive：窗口函数

最新推荐文章于 2021-09-11 01:56:25 发布
最新推荐文章于 2021-09-11 01:56:25 发布
阅读量123 收藏
点赞数
分类专栏： # hive
原文链接：https://blog.csdn.net/weixin_38750084/article/details/82779910
版权

原始链接：https://blog.csdn.net/weixin_38750084/article/details/82779910

 

Hive：窗口函数

花和尚也有春天 2018-09-20 00:01:35  19308  收藏 116

分类专栏： hive 文章标签： 窗口函数 Hive Hive窗口函数

简介

本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。

概念

我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数.

在深入研究Over字句之前，一定要注意：在SQL处理中，窗口函数都是最后一步执行，而且仅位于Order by字句之前。

数据准备

我们准备一张order表,字段分别为name,orderdate,cost.数据内容如下:

 

  1. jack,2015-01-01,10

  2. tony,2015-01-02,15

  3. jack,2015-02-03,23

  4. tony,2015-01-04,29

  5. jack,2015-01-05,46

  6. jack,2015-04-06,42

  7. tony,2015-01-07,50

  8. jack,2015-01-08,55

  9. mart,2015-04-08,62

  10. mart,2015-04-09,68

  11. neil,2015-05-10,12

  12. mart,2015-04-11,75

  13. neil,2015-06-12,80

  14. mart,2015-04-13,94

在hive中建立一张表t_window,将数据插入进去.

实例

聚合函数+over

假如说我们想要查询在2015年4月份购买过的顾客及总人数,我们便可以使用窗口函数去去实现

 

  1. select name,count(*) over ()

  2. from t_window

  3. where substring(orderdate,1,7) = '2015-04'

得到的结果如下:

 

  1. name count_window_0

  2. mart 5

  3. mart 5

  4. mart 5

  5. mart 5

  6. jack 5

可见其实在2015年4月一共有5次购买记录,mart购买了4次,jack购买了1次.事实上,大多数情况下,我们是只看去重后的结果的.针对于这种情况,我们有两种实现方式

第一种：distinct

 

  1. select distinct name,count(*) over ()

  2. from t_window

  3. where substring(orderdate,1,7) = '2015-04'

第二种:group by

 

  1. select name,count(*) over ()

  2. from t_window

  3. where substring(orderdate,1,7) = '2015-04'

  4. group by name

执行后的结果如下: 
name count_window_0 
mart 2 
jack 2

partition by子句

Over子句之后第一个提到的就是Partition By.Partition By子句也可以称为查询分区子句，非常类似于Group By，都是将数据按照边界值分组，而Over之前的函数在每一个分组之内进行，如果超出了分组，则函数会重新计算.

实例

我们想要去看顾客的购买明细及月购买总额,可以执行如下的sql

 

  1. select name,orderdate,cost,sum(cost) over(partition by month(orderdate))

  2. from t_window

执行结果如下:

 

  1. name orderdate cost sum_window_0

  2. jack 2015-01-01 10 205

  3. jack 2015-01-08 55 205

  4. tony 2015-01-07 50 205

  5. jack 2015-01-05 46 205

  6. tony 2015-01-04 29 205

  7. tony 2015-01-02 15 205

  8. jack 2015-02-03 23 23

  9. mart 2015-04-13 94 341

  10. jack 2015-04-06 42 341

  11. mart 2015-04-11 75 341

  12. mart 2015-04-09 68 341

  13. mart 2015-04-08 62 341

  14. neil 2015-05-10 12 12

  15. neil 2015-06-12 80 80

可以看出数据已经按照月进行汇总了.

order by子句

上述的场景,假如我们想要将cost按照月进行累加.这时我们引入order by子句.

order by子句会让输入的数据强制排序（文章前面提到过，窗口函数是SQL语句最后执行的函数，因此可以把SQL结果集想象成输入数据）。Order By子句对于诸如Row_Number()，Lead()，LAG()等函数是必须的，因为如果数据无序，这些函数的结果就没有任何意义。因此如果有了Order By子句，则Count()，Min()等计算出来的结果就没有任何意义。

我们在上面的代码中加入order by

 

  1. select name,orderdate,cost,sum(cost) over(partition by month(orderdate) order by orderdate )

  2. from t_window

得到的结果如下：(order by默认情况下聚合从起始行到当前行的数据)

 

  1. name orderdate cost sum_window_0

  2. jack 2015-01-01 10 10

  3. tony 2015-01-02 15 25 //10+15

  4. tony 2015-01-04 29 54 //10+15+29

  5. jack 2015-01-05 46 100 //10+15+29+46

  6. tony 2015-01-07 50 150

  7. jack 2015-01-08 55 205

  8. jack 2015-02-03 23 23

  9. jack 2015-04-06 42 42

  10. mart 2015-04-08 62 104

  11. mart 2015-04-09 68 172

  12. mart 2015-04-11 75 247

  13. mart 2015-04-13 94 341

  14. neil 2015-05-10 12 12

  15. neil 2015-06-12 80 80

 

 

window子句

我们在上面已经通过使用partition by子句将数据进行了分组的处理.如果我们想要更细粒度的划分，我们就要引入window子句了.

我们首先要理解两个概念: 
- 如果只使用partition by子句,未指定order by的话,我们的聚合是分组内的聚合. 
- 使用了order by子句,未使用window子句的情况下,默认从起点到当前行.

当同一个select查询中存在多个窗口函数时,他们相互之间是没有影响的.每个窗口函数应用自己的规则.

window子句： 
- PRECEDING：往前 
- FOLLOWING：往后 
- CURRENT ROW：当前行 
- UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING：表示到后面的终点

我们按照name进行分区,按照购物时间进行排序,做cost的累加. 
如下我们结合使用window子句进行查询

 

  1. select name,orderdate,cost,

  2. sum(cost) over() as sample1,--所有行相加

  3. sum(cost) over(partition by name) as sample2,--按name分组，组内数据相加

  4. sum(cost) over(partition by name order by orderdate) as sample3,--按name分组，组内数据累加

  5. sum(cost) over(partition by name order by orderdate rows between UNBOUNDED PRECEDING and current row ) as sample4 ,--和sample3一样,由起点到当前行的聚合

  6. sum(cost) over(partition by name order by orderdate rows between 1 PRECEDING and current row) as sample5, --当前行和前面一行做聚合

  7. sum(cost) over(partition by name order by orderdate rows between 1 PRECEDING AND 1 FOLLOWING ) as sample6,--当前行和前边一行及后面一行

  8. sum(cost) over(partition by name order by orderdate rows between current row and UNBOUNDED FOLLOWING ) as sample7 --当前行及后面所有行

  9. from t_window;

得到查询结果如下：

 

  1. name orderdate cost sample1 sample2 sample3 sample4 sample5 sample6 sample7

  2. jack 2015-01-01 10 661 176 10 10 10 56 176

  3. jack 2015-01-05 46 661 176 56 56 56 111 166

  4. jack 2015-01-08 55 661 176 111 111 101 124 120

  5. jack 2015-02-03 23 661 176 134 134 78 120 65

  6. jack 2015-04-06 42 661 176 176 176 65 65 42

  7. mart 2015-04-08 62 661 299 62 62 62 130 299

  8. mart 2015-04-09 68 661 299 130 130 130 205 237

  9. mart 2015-04-11 75 661 299 205 205 143 237 169

  10. mart 2015-04-13 94 661 299 299 299 169 169 94

  11. neil 2015-05-10 12 661 92 12 12 12 92 92

  12. neil 2015-06-12 80 661 92 92 92 92 92 80

  13. tony 2015-01-02 15 661 94 15 15 15 44 94

  14. tony 2015-01-04 29 661 94 44 44 44 94 79

  15. tony 2015-01-07 50 661 94 94 94 79 79 50

窗口函数中的序列函数

主要序列函数是不支持window子句的.

hive中常用的序列函数有下面几个:

NTILE

  • NTILE(n)，用于将分组数据按照顺序切分成n片，返回当前切片值

  • NTILE不支持ROWS BETWEEN， 
    比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)

  • 如果切片不均匀，默认增加第一个切片的分布

这个函数用什么应用场景呢?假如我们想要每位顾客购买金额前1/3的交易记录,我们便可以使用这个函数.

 

  1. select name,orderdate,cost,

  2. ntile(3) over() as sample1 , --全局数据切片

  3. ntile(3) over(partition by name), -- 按照name进行分组,在分组内将数据切成3份

  4. ntile(3) over(order by cost),--全局按照cost升序排列,数据切成3份

  5. ntile(3) over(partition by name order by cost ) --按照name分组，在分组内按照cost升序排列,数据切成3份

  6. from t_window

得到的数据如下：

 

  1. name orderdate cost sample1 sample2 sample3 sample4

  2. jack 2015-01-01 10 3 1 1 1

  3. jack 2015-02-03 23 3 1 1 1

  4. jack 2015-04-06 42 2 2 2 2

  5. jack 2015-01-05 46 2 2 2 2

  6. jack 2015-01-08 55 2 3 2 3

  7. mart 2015-04-08 62 2 1 2 1

  8. mart 2015-04-09 68 1 2 3 1

  9. mart 2015-04-11 75 1 3 3 2

  10. mart 2015-04-13 94 1 1 3 3

  11. neil 2015-05-10 12 1 2 1 1

  12. neil 2015-06-12 80 1 1 3 2

  13. tony 2015-01-02 15 3 2 1 1

  14. tony 2015-01-04 29 3 3 1 2

  15. tony 2015-01-07 50 2 1 2 3

如上述数据，我们去sample4 = 1的那部分数据就是我们要的结果

row_number

rank

dense_rank

这三个窗口函数的使用场景非常多 
- row_number()从1开始，按照顺序，生成分组内记录的序列,row_number()的值不会存在重复,当排序的值相同时,按照表中记录的顺序进行排列 
- RANK() 生成数据项在分组中的排名，排名相等会在名次中留下空位 
- DENSE_RANK() 生成数据项在分组中的排名，排名相等会在名次中不会留下空位

**注意： 
rank和dense_rank的区别在于排名相等时会不会留下空位.**

举例如下:

 

  1. SELECT

  2. cookieid,

  3. createtime,

  4. pv,

  5. RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn1,

  6. DENSE_RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn2,

  7. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY pv DESC) AS rn3

  8. FROM lxw1234

  9. WHERE cookieid = 'cookie1';

  10.  

  11. cookieid day pv rn1 rn2 rn3

  12.  

  13. cookie1 2015-04-12 7 1 1 1

  14. cookie1 2015-04-11 5 2 2 2

  15. cookie1 2015-04-15 4 3 3 3

  16. cookie1 2015-04-16 4 3 3 4

  17. cookie1 2015-04-13 3 5 4 5

  18. cookie1 2015-04-14 2 6 5 6

  19. cookie1 2015-04-10 1 7 6 7

 

  1. rn1: 15号和16号并列第3, 13号排第5

  2. rn2: 15号和16号并列第3, 13号排第4

  3. rn3: 如果相等，则按记录值排序，生成唯一的次序，如果所有记录值都相等，或许会随机排吧。

LAG和LEAD函数

这两个函数为常用的窗口函数,可以返回上下数据行的数据. 
以我们的订单表为例,假如我们想要查看顾客上次的购买时间可以这样去查询

 

  1. select name,orderdate,cost,

  2. lag(orderdate,1,'1900-01-01') over(partition by name order by orderdate ) as time1,

  3. lag(orderdate,2) over (partition by name order by orderdate) as time2

  4. from t_window;

查询后的数据为:

 

  1. name orderdate cost time1 time2

  2. jack 2015-01-01 10 1900-01-01 NULL

  3. jack 2015-01-05 46 2015-01-01 NULL

  4. jack 2015-01-08 55 2015-01-05 2015-01-01

  5. jack 2015-02-03 23 2015-01-08 2015-01-05

  6. jack 2015-04-06 42 2015-02-03 2015-01-08

  7. mart 2015-04-08 62 1900-01-01 NULL

  8. mart 2015-04-09 68 2015-04-08 NULL

  9. mart 2015-04-11 75 2015-04-09 2015-04-08

  10. mart 2015-04-13 94 2015-04-11 2015-04-09

  11. neil 2015-05-10 12 1900-01-01 NULL

  12. neil 2015-06-12 80 2015-05-10 NULL

  13. tony 2015-01-02 15 1900-01-01 NULL

  14. tony 2015-01-04 29 2015-01-02 NULL

  15. tony 2015-01-07 50 2015-01-04 2015-01-02

time1取的为按照name进行分组,分组内升序排列,取上一行数据的值，见下图。

time2取的为按照name进行分组，分组内升序排列,取上面2行的数据的值,注意当lag函数未设置行数值时,默认为1行.设定取不到时的默认值时,取null值.

lead函数与lag函数方向相反,取向下的数据.

 

first_value和last_value

first_value取分组内排序后，截止到当前行，第一个值 
last_value取分组内排序后，截止到当前行，最后一个值

 

  1. select name,orderdate,cost,

  2. first_value(orderdate) over(partition by name order by orderdate) as time1,

  3. last_value(orderdate) over(partition by name order by orderdate) as time2

  4. from t_window

查询结果如下:

 

  1. name orderdate cost time1 time2

  2. jack 2015-01-01 10 2015-01-01 2015-01-01

  3. jack 2015-01-05 46 2015-01-01 2015-01-05

  4. jack 2015-01-08 55 2015-01-01 2015-01-08

  5. jack 2015-02-03 23 2015-01-01 2015-02-03

  6. jack 2015-04-06 42 2015-01-01 2015-04-06

  7. mart 2015-04-08 62 2015-04-08 2015-04-08

  8. mart 2015-04-09 68 2015-04-08 2015-04-09

  9. mart 2015-04-11 75 2015-04-08 2015-04-11

  10. mart 2015-04-13 94 2015-04-08 2015-04-13

  11. neil 2015-05-10 12 2015-05-10 2015-05-10

  12. neil 2015-06-12 80 2015-05-10 2015-06-12

  13. tony 2015-01-02 15 2015-01-02 2015-01-02

  14. tony 2015-01-04 29 2015-01-02 2015-01-04

  15. tony 2015-01-07 50 2015-01-02 2015-01-07

原文参考：https://blog.csdn.net/qq_26937525/article/details/54925827 

 

扩展：

row_number的用途非常广泛，排序最好用它，它会为查询出来的每一行记录生成一个序号，依次排序且不会重复，注意使用row_number函数时必须要用over子句选择对某一列进行排序才能生成序号。

rank函数用于返回结果集的分区内每行的排名，行的排名是相关行之前的排名数加一。简单来说rank函数就是对查询出来的记录进行排名，与row_number函数不同的是，rank函数考虑到了over子句中排序字段值相同的情况，如果使用rank函数来生成序号，over子句中排序字段值相同的序号是一样的，后面字段值不相同的序号将跳过相同的排名号排下一个，也就是相关行之前的排名数加一，可以理解为根据当前的记录数生成序号，后面的记录依此类推。

dense_rank函数的功能与rank函数类似，dense_rank函数在生成序号时是连续的，而rank函数生成的序号有可能不连续。dense_rank函数出现相同排名时，将不跳过相同排名号，rank值紧接上一次的rank值。在各个分组内，rank()是跳跃排序，有两个第一名时接下来就是第四名，dense_rank()是连续排序，有两个第一名时仍然跟着第二名。

借助实例能更直观地理解：

假设现在有一张学生表student，学生表中有姓名、分数、课程编号。

select * from student;

 现在需要按照课程对学生的成绩进行排序：

 

  1. --row_number() 顺序排序

  2. select name,course,row_number() over(partition by course order by score desc) rank from student;

 

  1. --rank() 跳跃排序，如果有两个第一级别时，接下来是第三级别

  2. select name,course,rank() over(partition by course order by score desc) rank from student;

 

  1. --dense_rank() 连续排序，如果有两个第一级别时，接下来是第二级别

  2. select name,course,dense_rank() over(partition by course order by score desc) rank from student;

取得每门课程的第一名：

 

  1. --每门课程第一名只取一个：

  2. select * from (select name,course,row_number() over(partition by course order by score desc) rank from student) where rank=1;

  3. --每门课程第一名取所有：

  4. select * from (select name,course,dense_rank() over(partition by course order by score desc) rank from student) where rank=1;

  5. --每门课程第一名取所有：

  6. select * from (select name,course,rank() over(partition by course order by score desc) rank from student) where rank=1;

　　附：每门课程第一名取所有的其他方法（使用group by 而不是partition by）：

 

  1. select s.* from student s

  2. 　　inner join(select course,max(score) as score from student group by course) c

  3. 　　on s.course=c.course and s.score=c.score;　

  4. --或者使用using关键字简化连接

  5. select * from student s

  6. 　　inner join(select course,max(score) as score from student group by course) c

  7. 　　using(course,score);

​

关于Parttion by：

　　Parttion by关键字是Oracle中分析性函数的一部分，用于给结果集进行分区。它和聚合函数Group by不同的地方在于它只是将原始数据进行名次排列，能够返回一个分组中的多条记录（记录数不变），而Group by是对原始数据进行聚合统计，一般只有一条反映统计值的结果（每组返回一条）。

　　TIPS：

　　使用rank over()的时候，空值是最大的，如果排序字段为null, 可能造成null字段排在最前面，影响排序结果。

　　可以这样： rank over(partition by course order by score desc nulls last)

总结：

　　在使用排名函数的时候需要注意以下三点：

　　1、排名函数必须有 OVER 子句。

　　2、排名函数必须有包含 ORDER BY 的 OVER 子句。

　　3、分组内从1开始排序。

参考：https://www.cnblogs.com/qiuting/p/7880500.html

 

黄道婆
关注
专栏目录
【硬刚Hive】HIVE基础（20）：Hive函数(9) over 窗口函数
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 726
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 hive窗口函数语法 在前言中我们已经说了avg()、sum()、max()、min()是分析函数，而over()才是窗..
【硬刚Hive】Hive实战(1)：Hive 函数(3) HiveSQL 高阶函数合集实战（一）窗口函数
微信搜：import_bigdata，大数据领域硬核原创作者
09-10 473
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 目录 数据准备 　　数据集 　　建表语句 窗口函数 　　row_number：使用频率 ★★★★★ 　　rank ：.
Hive：窗口函数
热门推荐
不花的花和尚的博客
09-20 4万+
简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。 概念 我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数...
Hive 窗口函数详解
雾岛与鲸的博客
09-04 6676
目录1、hive窗口函数2、在日常的开发中常用那些类型函数？3、了解哪些窗口函数，都是什么意思？窗口函数功能over语法1、物理窗口（真实往上下移动多少行rows between）：2、 逻辑窗口(满足条件上下多少行):(金融行业、保险行业、p2p等)4、窗口聚合函数count开窗函数sum开窗函数avg开窗函数min开窗函数max开窗函数5、窗口分析函数first_value开窗函数last_value开窗函数lag开窗函数lead开窗函数cume_dist开窗函数6、窗口排序函数rank开窗函数dens
Hive：窗口函数 （大佬带路不怕迷路）
weixin_47737819的博客
06-12 151
简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。
Hive-窗口函数详解
大爵爷
12-29 2120
select a, count(*) from tablename group by b 这样是错误的，因为a不在聚合函数里面， 也不再group by里面 再举例： select model_id, count(*) from ( select * from table_name where pt='2019-12-25' limit 10 ) aa 报错信息： o...
【Hive】窗口函数（开窗函数部分）
康师傅没有眼泪
11-24 3322
我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数.目前，我用的多的就是 row_number() , sum(), 解决topN 问题，分区排序，累积计数。hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于OLAP分析（在线分析处理）。
大数据技术-hive窗口函数详解
xiaoxijinger的博客
08-25 457
有不少同学一听这个标题，hive窗口函数是什么鬼？没听说过还有窗口函数这个东西啊，其实它的用处可大了，下面听小千慢慢道来。 hive窗口函数 窗口函数指定了函数工作的数据窗口大小(当前行的上下多少行)，这个数据窗口大小可能会随着行的变化而变化。 窗口函数和聚合函数区别 窗口函数对于每个组返回多行，组内每一行对应返回一行值。聚合函数对于每个组只返回一行。 在日常的开发中常用那些类型函数？ 1、字符串操作函数？split、concat、ifnull、cast 2、聚合函数 ： hive适用于分析，所以常用。 3
【硬刚Hive】Hive基础（19）：Hive 函数(2) 自定义函数/自定义 UDF 函数/自定义 UDTF 函数
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 370
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 3 自定义函数 1）Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来 方...
【硬刚Hive】Hive窗口函数row number的用法
微信搜：import_bigdata，大数据领域硬核原创作者
09-06 1473
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 row_number 前面我们介绍窗口函数的时候说到了窗口函数的使用场景，我们也给它起了一个名字进行区分，通用窗口函数和特殊窗口函数，今天我们就来看一下排序相关的窗口函数..
hive：窗口函数/开窗函数 OVER()（笔记）
不花的花和尚的博客
02-27 1270
6.7.4窗口函数（开窗函数） 1．相关函数说明 OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。 CURRENT ROW：当前行 nPRECEDING：往前n行数据 nFOLLOWING：往后n行数据 UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDEDFOLLOWING表示到后面的终点...
HIVE 窗口及分析函数 应用场景
helloxiaozhe的博客
02-28 8315
窗口函数应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 hive中一般取top n时，row_number(),rank,dense_rank()这三个函数就派上用场了， 先简单说下这三函数都是排名的，不过呢还有点细微的区别。 通过代码运行结果一看就明白了。 ROW_NUMBER() OVER函数的基本用法 语法：R...
hive 分析窗口函数 order by 时 null 值处理
雾岛与鲸的博客
08-28 2852
分析窗口函数 order by 时，desc NULL 值排在末尾，ASC时NULL值排在首位， hive中没有类似oracle row_number () over(partition by 字段 order by 字段 desc NULLS last) 这种写法； 所以使用前需要对空值做处理，否则影响最终的结果 测试表数据: create table px_data_test_temp.test_stu( id int comment '学生id', name string comment
大数据Hive DML-Load加载数据
赵广陆
03-27 1125
目录1 背景2 Load语法2.1 filepath2.2 LOCAL2.3 OVERWRITE3 案例：load加载数据到Hive表4 Hive3.0 Load新特性 1 背景 回想一下，当在Hive中创建好表之后，默认就会在HDFS上创建一个与之对应的文件夹，默认路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/warehouse。 要想让hive的表和结构化的数据文件产生映射，就需要把文件移到到表对应的文件夹下面，当然，可以在建
实现朴素贝叶斯分类器对西瓜书数据集3.0进行分类_Naive-Bayesian-classifier.zip
最新发布
10-01
实现朴素贝叶斯分类器对西瓜书数据集3.0进行分类_Naive-Bayesian-classifier
基于Python与Shell的system-design-primer大型系统设计源码学习指南
10-01
该项目是一个大型系统设计源码学习指南，采用Python和Shell编程语言编写，包含127个文件，其中包括54个PNG图像文件、23个Markdown文档、17个Graffle文件、14个Python源代码文件、6个Jupyter Notebook文件、5个JPG图片文件、3个Android应用程序包文件，以及各类型的配置和忽略文件。该指南旨在帮助用户深入理解如何设计和构建复杂系统。
【超强组合】基于matlab金枪鱼算法TSO-BP-Adaboost数据分类预测【含Matlab源码 8154期】.zip
10-01
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2023b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化-BP-Adaboost数据分类预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO优化-BP-Adaboost数据分类预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化-BP-Adaboost数据分类预测 4.4.3 灰狼算法GWO/狼群算法WPA优化-BP-Adaboost数据分类预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化-BP-Adaboost数据分类预测 4.4.5 萤火虫算法FA/差分算法DE优化-BP-Adaboost数据分类预测 4.4.6 其他优化算法优化-BP-Adaboost数据分类预测
【SCI2区】北方苍鹰算法NGO-BiTCN-BiGRU-Attention风电预测【含Matlab源码 8076期】.zip
10-01
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2023b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化-BiTCN-BiGRU-Attention风电预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO优化-BiTCN-BiGRU-Attention风电预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化-BiTCN-BiGRU-Attention风电预测 4.4.3 灰狼算法GWO/狼群算法WPA优化-BiTCN-BiGRU-Attention风电预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化-BiTCN-BiGRU-Attention风电预测 4.4.5 萤火虫算法FA/差分算法DE优化-BiTCN-BiGRU-Attention风电预测 4.4.6 其他优化算法优化-BiTCN-BiGRU-Attention风电预测
Hive窗口函数详解：over()语法与应用
"这篇文档详细介绍了Hive窗口函数的使用，包括over()函数的语法结构、其中的partitionby、orderby和rowsbetween等关键概念，并列举了常与over()一起使用的分析函数，如avg()、sum()、max()等。文档旨在帮助用户理解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值