Hive 之 窗口函数

最新推荐文章于 2024-02-11 16:48:58 发布
最新推荐文章于 2024-02-11 16:48:58 发布
阅读量462 收藏 3
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ly13607255628/article/details/120685954
版权

目录

窗口函数又名开窗函数，属于分析函数的一种。用于解决复杂报表统计需求的功能强大的函数，很多场景都需要用到。窗口函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。

1、 窗口基本用法

1.1 over 关键字

使用窗口函数之前一般要要通过over()进行开窗

select
  ename, 
  sal, 
  sum(sal) over() salsum,
  concat(round(sal / sum(sal) over()*100, 1) || '%') ratiosal
from emp;
+---------+-------+---------+-----------+
|  ename  |  sal  | salsum  | ratiosal  |
+---------+-------+---------+-----------+
| MILLER  | 1300  | 29025   | 4.5%      |
| FORD    | 3000  | 29025   | 10.3%     |
| JAMES   | 950   | 29025   | 3.3%      |
| ADAMS   | 1100  | 29025   | 3.8%      |
| TURNER  | 1500  | 29025   | 5.2%      |
| KING    | 5000  | 29025   | 17.2%     |
| SCOTT   | 3000  | 29025   | 10.3%     |
| CLARK   | 2450  | 29025   | 8.4%      |
| BLAKE   | 2850  | 29025   | 9.8%      |
| MARTIN  | 1250  | 29025   | 4.3%      |
| JONES   | 2975  | 29025   | 10.2%     |
| WARD    | 1250  | 29025   | 4.3%      |
| ALLEN   | 1600  | 29025   | 5.5%      |
| SMITH   | 800   | 29025   | 2.8%      |
+---------+-------+---------+-----------+

窗口函数是针对每一行数据的；如果over中没有参数，默认的是全部结果集；

1.2 partition by子句

在over窗口中进行分区，对某一列进行分区统计，窗口的大小就是分区的大小

select 
	deptno,
    ename, 
    sal, 
    sum(sal) over(partition by deptno) salsum
from emp order by deptno  limit 20;
+---------+---------+-------+---------+
| deptno  |  ename  |  sal  | salsum  |
+---------+---------+-------+---------+
| 10      | MILLER  | 1300  | 8750    |
| 10      | KING    | 5000  | 8750    |
| 10      | CLARK   | 2450  | 8750    |
| 20      | ADAMS   | 1100  | 10875   |
| 20      | SCOTT   | 3000  | 10875   |
| 20      | FORD    | 3000  | 10875   |
| 20      | JONES   | 2975  | 10875   |
| 20      | SMITH   | 800   | 10875   |
| 30      | BLAKE   | 2850  | 9400    |
| 30      | WARD    | 1250  | 9400    |
| 30      | MARTIN  | 1250  | 9400    |
| 30      | TURNER  | 1500  | 9400    |
| 30      | JAMES   | 950   | 9400    |
| 30      | ALLEN   | 1600  | 9400    |
+---------+---------+-------+---------+

1.3 order by 子句

select 
	ename, 
	sal,
	deptno, 
	sum(sal) over(partition by deptno) salsum1,
	sum(sal) over(partition by deptno order by sal desc) salsum
from emp;
+---------+-------+---------+----------+---------+
|  ename  |  sal  | deptno  | salsum1  | salsum  |
+---------+-------+---------+----------+---------+
| KING    | 5000  | 10      | 8750     | 5000    |
| CLARK   | 2450  | 10      | 8750     | 7450    |
| MILLER  | 1300  | 10      | 8750     | 8750    |
| FORD    | 3000  | 20      | 10875    | 6000    |
| SCOTT   | 3000  | 20      | 10875    | 6000    |
| JONES   | 2975  | 20      | 10875    | 8975    |
| ADAMS   | 1100  | 20      | 10875    | 10075   |
| SMITH   | 800   | 20      | 10875    | 10875   |
| BLAKE   | 2850  | 30      | 9400     | 2850    |
| ALLEN   | 1600  | 30      | 9400     | 4450    |
| TURNER  | 1500  | 30      | 9400     | 5950    |
| MARTIN  | 1250  | 30      | 9400     | 8450    |
| WARD    | 1250  | 30      | 9400     | 8450    |
| JAMES   | 950   | 30      | 9400     | 9400    |
+---------+-------+---------+----------+---------+
#  20  6000
#| FORD    | 3000  | 20      | 10875    | 6000    |
#| SCOTT   | 3000  | 20      | 10875    | 6000    |

over() 没有order by 子句是结果是整个组的累加
有了order by 是组内逐行累加

2、Window子句

rows between ... and ...

如果要对窗口的结果做更细粒度的划分，使用window子句，有如下的几个选项：

  • unbounded preceding。组内第一行数据
  • n preceding。组内当前行的前n行数据
  • current row。当前行数据
  • n following。组内当前行的后n行数据
  • unbounded following。组内最后一行数据

在这里插入图片描述

-- 等价。组内，第一行到当前行的和
select ename, 
    sal, 
    deptno,
    sum(sal) over(partition by deptno order by ename) 
from  emp;

select 
	ename, 
	sal, 
	deptno,
    sum(sal) over(partition by deptno order by ename rows between unbounded preceding and current row
)
from emp;

+---------+-------+---------+---------------+
|  ename  |  sal  | deptno  | sum_window_0  |
+---------+-------+---------+---------------+
| CLARK   | 2450  | 10      | 2450          |
| KING    | 5000  | 10      | 7450          |
| MILLER  | 1300  | 10      | 8750          |
| ADAMS   | 1100  | 20      | 1100          |
| FORD    | 3000  | 20      | 4100          |
| JONES   | 2975  | 20      | 7075          |
| SCOTT   | 3000  | 20      | 10075         |
| SMITH   | 800   | 20      | 10875         |
| ALLEN   | 1600  | 30      | 1600          |
| BLAKE   | 2850  | 30      | 4450          |
| JAMES   | 950   | 30      | 5400          |
| MARTIN  | 1250  | 30      | 6650          |
| TURNER  | 1500  | 30      | 8150          |
| WARD    | 1250  | 30      | 9400          |
+---------+-------+---------+---------------+



-- 组内，第一行到最后一行的和  
-- 等价  sum(sal) over(partition by deptno）
select 
	ename, 
	sal, 
	deptno,
	sum(sal) over(partition by deptno order by ename 
	rows between unbounded preceding and unbounded following
)
from emp;

+---------+-------+---------+---------------+
|  ename  |  sal  | deptno  | sum_window_0  |
+---------+-------+---------+---------------+
| CLARK   | 2450  | 10      | 8750          |
| KING    | 5000  | 10      | 8750          |
| MILLER  | 1300  | 10      | 8750          |
| ADAMS   | 1100  | 20      | 10875         |
| FORD    | 3000  | 20      | 10875         |
| JONES   | 2975  | 20      | 10875         |
| SCOTT   | 3000  | 20      | 10875         |
| SMITH   | 800   | 20      | 10875         |
| ALLEN   | 1600  | 30      | 9400          |
| BLAKE   | 2850  | 30      | 9400          |
| JAMES   | 950   | 30      | 9400          |
| MARTIN  | 1250  | 30      | 9400          |
| TURNER  | 1500  | 30      | 9400          |
| WARD    | 1250  | 30      | 9400          |
+---------+-------+---------+---------------+


-- 组内，前一行、当前行、后一行的和
select 
	ename, 
	sal, 
	deptno,
    sum(sal) over(partition by deptno order by ename
    rows between 1 preceding and 1 following
)
from emp;
+---------+-------+---------+---------------+
|  ename  |  sal  | deptno  | sum_window_0  |
+---------+-------+---------+---------------+
| CLARK   | 2450  | 10      | 7450          |
| KING    | 5000  | 10      | 8750          |
| MILLER  | 1300  | 10      | 6300          |
| ADAMS   | 1100  | 20      | 4100          |
| FORD    | 3000  | 20      | 7075          |
| JONES   | 2975  | 20      | 8975          |
| SCOTT   | 3000  | 20      | 6775          |
| SMITH   | 800   | 20      | 3800          |
| ALLEN   | 1600  | 30      | 4450          |
| BLAKE   | 2850  | 30      | 5400          |
| JAMES   | 950   | 30      | 5050          |
| MARTIN  | 1250  | 30      | 3700          |
| TURNER  | 1500  | 30      | 4000          |
| WARD    | 1250  | 30      | 2750          |
+---------+-------+---------+---------------+

3、排名函数

都是从1开始，生成数据项在分组中的排名。

  • row_number()。排名顺序增加不会重复；如1、2、3、4、… …
  • RANK()。 排名相等会在名次中留下空位；如1、2、2、4、5、… …
  • DENSE_RANK()。 排名相等会在名次中不会留下空位 ；如1、2、2、3、4、… …
-- 数据
class1,s01,100
class1,s03,100
class1,s05,100
class1,s07,99
class1,s09,98
class1,s02,98
class1,s04,97
class2,s21,100
class2,s24,99
class2,s27,99
class2,s22,98
class2,s25,98
class2,s28,97
class2,s26,96

-- 创建表加载数据
create table rank(
cname string,
sname string,
score int
) row format delimited fields terminated by ',';

load data local inpath '/root/bigdata/test_data/hive/rank.txt' into table
rank;

select cname, sname, score,
row_number() over (partition by cname order by score
desc) rank1,
rank() over (partition by cname order by score desc)
rank2,
dense_rank() over (partition by cname order by score
desc) rank3
from rank;
(i.e. spark, tez) or using Hive 1.X releases.
+---------+--------+--------+--------+--------+--------+
|  cname  | sname  | score  | rank1  | rank2  | rank3  |
+---------+--------+--------+--------+--------+--------+
| class1  | s01    | 100    | 1      | 1      | 1      |
| class1  | s03    | 100    | 2      | 1      | 1      |
| class1  | s05    | 100    | 3      | 1      | 1      |
| class1  | s07    | 99     | 4      | 4      | 2      |
| class1  | s09    | 98     | 5      | 5      | 3      |
| class1  | s02    | 98     | 6      | 5      | 3      |
| class1  | s04    | 97     | 7      | 7      | 4      |
| class2  | s21    | 100    | 1      | 1      | 1      |
| class2  | s24    | 99     | 2      | 2      | 2      |
| class2  | s27    | 99     | 3      | 2      | 2      |
| class2  | s22    | 98     | 4      | 4      | 3      |
| class2  | s25    | 98     | 5      | 4      | 3      |
| class2  | s28    | 97     | 6      | 6      | 4      |
| class2  | s26    | 96     | 7      | 7      | 5      |
+---------+--------+--------+--------+--------+--------+

4、序列函数

  • lag。返回当前数据行的上一行数据
  • lead。返回当前数据行的下一行数据
  • first_value。取分组内排序后，截止到当前行，第一个值
  • last_value。分组内排序后，截止到当前行，最后一个值
  • ntile。将分组的数据按照顺序切分成n片，返回当前切片值
-- 数据
cookie1,2019-04-10,1
cookie1,2019-04-11,5
cookie1,2019-04-12,7
cookie1,2019-04-13,3
cookie1,2019-04-14,2
cookie1,2019-04-15,4
cookie1,2019-04-16,4
cookie2,2019-04-10,2
cookie2,2019-04-11,3
cookie2,2019-04-12,5
cookie2,2019-04-13,6
cookie2,2019-04-14,3
cookie2,2019-04-15,9
cookie2,2019-04-16,7

-- 建表语句
create table userpv(
cid string,
ctime date,
pv int
)
row format delimited fields terminated by ",";
-- 加载数据
Load data local inpath '/home/hadoop/data/userpv.dat' into
table userpv;

select  *  from userpv;
+-------------+---------------+------------+
| userpv.cid  | userpv.ctime  | userpv.pv  |
+-------------+---------------+------------+
| cookie1     | 2019-04-10    | 1          |
| cookie1     | 2019-04-11    | 5          |
| cookie1     | 2019-04-12    | 7          |
| cookie1     | 2019-04-13    | 3          |
| cookie1     | 2019-04-14    | 2          |
| cookie1     | 2019-04-15    | 4          |
| cookie1     | 2019-04-16    | 4          |
| cookie2     | 2019-04-10    | 2          |
| cookie2     | 2019-04-11    | 3          |
| cookie2     | 2019-04-12    | 5          |
| cookie2     | 2019-04-13    | 6          |
| cookie2     | 2019-04-14    | 3          |
| cookie2     | 2019-04-15    | 9          |
| cookie2     | 2019-04-16    | 7          |
+-------------+---------------+------------+

-- lag  返回当前数据行的上一行数据
-- lead 返回当前数据行的下一行数据
select cid, ctime, pv,
	lag(pv) over(partition by cid order by ctime) lagpv,
	lead(pv) over(partition by cid order by ctime) leadpv
from userpv;
+----------+-------------+-----+--------+---------+
|   cid    |    ctime    | pv  | lagpv  | leadpv  |
+----------+-------------+-----+--------+---------+
| cookie1  | 2019-04-10  | 1   | NULL   | 5       |
| cookie1  | 2019-04-11  | 5   | 1      | 7       |
| cookie1  | 2019-04-12  | 7   | 5      | 3       |
| cookie1  | 2019-04-13  | 3   | 7      | 2       |
| cookie1  | 2019-04-14  | 2   | 3      | 4       |
| cookie1  | 2019-04-15  | 4   | 2      | 4       |
| cookie1  | 2019-04-16  | 4   | 4      | NULL    |
| cookie2  | 2019-04-10  | 2   | NULL   | 3       |
| cookie2  | 2019-04-11  | 3   | 2      | 5       |
| cookie2  | 2019-04-12  | 5   | 3      | 6       |
| cookie2  | 2019-04-13  | 6   | 5      | 3       |
| cookie2  | 2019-04-14  | 3   | 6      | 9       |
| cookie2  | 2019-04-15  | 9   | 3      | 7       |
| cookie2  | 2019-04-16  | 7   | 9      | NULL    |
+----------+-------------+-----+--------+---------+


select cid, ctime, pv,
first_value(pv) over (partition by cid order by ctime 
rows between unbounded preceding and unbounded following) as
firstpv,
last_value(pv) over (partition by cid order by ctime
rows between unbounded preceding and unbounded following) as
lastpv
from userpv;
+----------+-------------+-----+----------+---------+
|   cid    |    ctime    | pv  | firstpv  | lastpv  |
+----------+-------------+-----+----------+---------+
| cookie1  | 2019-04-10  | 1   | 1        | 4       |
| cookie1  | 2019-04-11  | 5   | 1        | 4       |
| cookie1  | 2019-04-12  | 7   | 1        | 4       |
| cookie1  | 2019-04-13  | 3   | 1        | 4       |
| cookie1  | 2019-04-14  | 2   | 1        | 4       |
| cookie1  | 2019-04-15  | 4   | 1        | 4       |
| cookie1  | 2019-04-16  | 4   | 1        | 4       |
| cookie2  | 2019-04-10  | 2   | 2        | 7       |
| cookie2  | 2019-04-11  | 3   | 2        | 7       |
| cookie2  | 2019-04-12  | 5   | 2        | 7       |
| cookie2  | 2019-04-13  | 6   | 2        | 7       |
| cookie2  | 2019-04-14  | 3   | 2        | 7       |
| cookie2  | 2019-04-15  | 9   | 2        | 7       |
| cookie2  | 2019-04-16  | 7   | 2        | 7       |
+----------+-------------+-----+----------+---------+


-- ntile。按照cid进行分组，每组数据分成2份
select cid, ctime, pv,
ntile(2) over(partition by cid order by ctime) ntile
from userpv;
+----------+-------------+-----+--------+
|   cid    |    ctime    | pv  | ntile  |
+----------+-------------+-----+--------+
| cookie1  | 2019-04-10  | 1   | 1      |
| cookie1  | 2019-04-11  | 5   | 1      |
| cookie1  | 2019-04-12  | 7   | 1      |
| cookie1  | 2019-04-13  | 3   | 1      |
| cookie1  | 2019-04-14  | 2   | 2      |
| cookie1  | 2019-04-15  | 4   | 2      |
| cookie1  | 2019-04-16  | 4   | 2      |
| cookie2  | 2019-04-10  | 2   | 1      |
| cookie2  | 2019-04-11  | 3   | 1      |
| cookie2  | 2019-04-12  | 5   | 1      |
| cookie2  | 2019-04-13  | 6   | 1      |
| cookie2  | 2019-04-14  | 3   | 2      |
| cookie2  | 2019-04-15  | 9   | 2      |
| cookie2  | 2019-04-16  | 7   | 2      |
+----------+-------------+-----+--------+

5、GROUPING SETS、GROUPING__ID、CUBE和ROLLUP

-- 数据
2015-03,2015-03-10,cookie1
2015-03,2015-03-10,cookie5
2015-03,2015-03-12,cookie7
2015-04,2015-04-12,cookie3
2015-04,2015-04-13,cookie2
2015-04,2015-04-13,cookie4
2015-04,2015-04-16,cookie4
2015-03,2015-03-10,cookie2
2015-03,2015-03-10,cookie3
2015-04,2015-04-12,cookie5
2015-04,2015-04-13,cookie6
2015-04,2015-04-15,cookie3
2015-04,2015-04-15,cookie2
2015-04,2015-04-16,cookie1

create table cookie5(month string, day string, cookieid string) 
row format delimited fields terminated by ',';
load data local inpath "/home/hadoop/cookie5.txt" into table cookie5;
select * from cookie5;

+----------------+--------------+-------------------+
| cookie5.month  | cookie5.day  | cookie5.cookieid  |
+----------------+--------------+-------------------+
| 2015-03        | 2015-03-10   | cookie1           |
| 2015-03        | 2015-03-10   | cookie5           |
| 2015-03        | 2015-03-12   | cookie7           |
| 2015-04        | 2015-04-12   | cookie3           |
| 2015-04        | 2015-04-13   | cookie2           |
| 2015-04        | 2015-04-13   | cookie4           |
| 2015-04        | 2015-04-16   | cookie4           |
| 2015-03        | 2015-03-10   | cookie2           |
| 2015-03        | 2015-03-10   | cookie3           |
| 2015-04        | 2015-04-12   | cookie5           |
| 2015-04        | 2015-04-13   | cookie6           |
| 2015-04        | 2015-04-15   | cookie3           |
| 2015-04        | 2015-04-15   | cookie2           |
| 2015-04        | 2015-04-16   | cookie1           |
+----------------+--------------+-------------------+


--在一个GROUP BY查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL ,GROUPING__ID表示结果属于哪一个分组集合。


select 
  month,
  day,
  count(distinct cookieid) as uv,
  GROUPING__ID
from cookie.cookie5 
group by month,day 
grouping sets (month,day) 
order by GROUPING__ID;

--等价于
SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM cookie5 GROUP BY month 
UNION ALL 
SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM cookie5 GROUP BY day

+----------+-------------+-----+---------------+
|  month   |     day     | uv  | grouping__id  |
+----------+-------------+-----+---------------+
| 2015-04  | NULL        | 6   | 1             |
| 2015-03  | NULL        | 5   | 1             |
| NULL     | 2015-04-13  | 3   | 2             |
| NULL     | 2015-03-10  | 4   | 2             |
| NULL     | 2015-04-16  | 2   | 2             |
| NULL     | 2015-04-15  | 2   | 2             |
| NULL     | 2015-04-12  | 2   | 2             |
| NULL     | 2015-03-12  | 1   | 2             |
+----------+-------------+-----+---------------+


SELECT  month, day,
COUNT(DISTINCT cookieid) AS uv,
GROUPING__ID 
FROM cookie5 
GROUP BY month,day 
GROUPING SETS (month,day,(month,day)) 
ORDER BY GROUPING__ID  limit  100;
--等价于
SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM cookie5 GROUP BY month 
UNION ALL 
SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM cookie5 GROUP BY day
UNION ALL 
SELECT month,day,COUNT(DISTINCT cookieid) AS uv,3 AS GROUPING__ID FROM cookie5 GROUP BY month,day

+----------+-------------+-----+---------------+
|  month   |     day     | uv  | grouping__id  |
+----------+-------------+-----+---------------+
| 2015-03  | 2015-03-12  | 1   | 0             |
| 2015-03  | 2015-03-10  | 4   | 0             |
| 2015-04  | 2015-04-13  | 3   | 0             |
| 2015-04  | 2015-04-15  | 2   | 0             |
| 2015-04  | 2015-04-12  | 2   | 0             |
| 2015-04  | 2015-04-16  | 2   | 0             |
| 2015-03  | NULL        | 5   | 1             |
| 2015-04  | NULL        | 6   | 1             |
| NULL     | 2015-03-12  | 1   | 2             |
| NULL     | 2015-04-12  | 2   | 2             |
| NULL     | 2015-04-13  | 3   | 2             |
| NULL     | 2015-04-15  | 2   | 2             |
| NULL     | 2015-04-16  | 2   | 2             |
| NULL     | 2015-03-10  | 4   | 2             |
+----------+-------------+-----+---------------+


-- CUBE  根据GROUP BY的维度的所有组合进行聚合

SELECT  month, day,
COUNT(DISTINCT cookieid) AS uv,
GROUPING__ID 
FROM cookie5 
GROUP BY month,day 
WITH CUBE 
ORDER BY GROUPING__ID;
--等价于
SELECT NULL,NULL,COUNT(DISTINCT cookieid) AS uv,0 AS GROUPING__ID FROM cookie5
UNION ALL 
SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM cookie5 GROUP BY month 
UNION ALL 
SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM cookie5 GROUP BY day
UNION ALL 
SELECT month,day,COUNT(DISTINCT cookieid) AS uv,3 AS GROUPING__ID FROM cookie5 GROUP BY month,day

+----------+-------------+-----+---------------+
|  month   |     day     | uv  | grouping__id  |
+----------+-------------+-----+---------------+
| 2015-03  | 2015-03-10  | 4   | 0             |
| 2015-03  | 2015-03-12  | 1   | 0             |
| 2015-04  | 2015-04-12  | 2   | 0             |
| 2015-04  | 2015-04-13  | 3   | 0             |
| 2015-04  | 2015-04-15  | 2   | 0             |
| 2015-04  | 2015-04-16  | 2   | 0             |
| 2015-04  | NULL        | 6   | 1             |
| 2015-03  | NULL        | 5   | 1             |
| NULL     | 2015-04-12  | 2   | 2             |
| NULL     | 2015-03-10  | 4   | 2             |
| NULL     | 2015-04-13  | 3   | 2             |
| NULL     | 2015-04-15  | 2   | 2             |
| NULL     | 2015-04-16  | 2   | 2             |
| NULL     | 2015-03-12  | 1   | 2             |
| NULL     | NULL        | 7   | 3             |
+----------+-------------+-----+---------------+


-- ROLLUP
-- 是CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合
SELECT  month, day, COUNT(DISTINCT cookieid) AS uv, GROUPING__ID  
FROM cookie5 
GROUP BY month,day WITH ROLLUP  ORDER BY GROUPING__ID;

-- 等价于
select NULL ,NULL, COUNT(DISTINCT cookieid) AS uv, 0 AS GROUP_ID  FROM  cookie5
UNION ALL
select month,NULL, COUNT(DISTINCT cookieid) AS uv, 1 AS GROUP_ID  FROM  cookie5 GROUP BY month
UNION ALL
select month,day, COUNT(DISTINCT cookieid) AS uv, 2 AS GROUP_ID  FROM  cookie5 GROUP BY month,day

+----------+-------------+-----+---------------+
|  month   |     day     | uv  | grouping__id  |
+----------+-------------+-----+---------------+
| 2015-04  | 2015-04-16  | 2   | 0             |
| 2015-04  | 2015-04-13  | 3   | 0             |
| 2015-04  | 2015-04-12  | 2   | 0             |
| 2015-04  | 2015-04-15  | 2   | 0             |
| 2015-03  | 2015-03-12  | 1   | 0             |
| 2015-03  | 2015-03-10  | 4   | 0             |
| 2015-04  | NULL        | 6   | 1             |
| 2015-03  | NULL        | 5   | 1             |
| NULL     | NULL        | 7   | 3             |
+----------+-------------+-----+---------------+

参考链接：https://www.cnblogs.com/qingyunzong/p/8798987.html

梵圣
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive：窗口函数（开窗函数）over
weixin_41391619的博客
12-07 1422
hive窗口函数（开窗函数）over的使用介绍+实例讲解
【Hive】 关于开窗函数over()的理解
Harbour_zhang的博客
02-28 1004
一、引言 我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数. 二、over() 开窗函数 over() 用于指定分析函数工作的数据窗口大小。 假设有如下数据： -- 字段名为name，odate，cost, 导入以下数据 jack,2015-01-01,10 jack,2015-01-01,10 ton
hive窗口函数
01-09
hive窗口系列函数
mysql窗口函数（分析函数）知识笔记
weixin_50883445的博客
03-29 1022
窗口函数 MySQL从8.0开始支持开窗函数，这个功能在大多商业数据库中早已支持，也叫分析函数。 开窗函数与分组聚合比较像，分组聚合是通过制定字段将数据分成多份，每一份执行聚合函数，每份数据返回一条结果。 开窗函数也是通过指定字段将数据分成多份，也就是多个窗口，对每个窗口的每一行执行函数，每个窗口返回等行数的结果。 窗口函数分为静态窗口和滑动窗口，静态窗口的大小是固定的，滑动窗口的大小可以根据设置进行变化，在当前窗口下生成子窗口。 1、窗口函数的定义 窗口函数作用于一个数据集合。窗口函数的一个概念就是当
sql over函数_SQL高级功能：窗口函数、存储过程及经典排名问题、topN问题等
weixin_39614146的博客
12-09 817
本篇文章主要是以下内容：1.窗口函数：1)窗口函数的基本语法如下：<窗口函数> over ( partition by<用于分组的列名> order by <用于排序的列名>)2)以上语法中<窗口函数>的位置，可以放置以下函数：窗口函数是对where或者group by子句处理后的结果进行处理，所以窗口函数原则上只能写上select子句中。2.如何使...
Mysql_窗口函数_OVER()的分组参数PARTITION BY
feizuiku0116的博客
08-21 8934
一.PARTITION BY与GROUP BY区别 group by是分组函数，partition by是分析函数 在执行顺序上：from > where > group by > having > order by，而partition by应用在以上关键字之后，可以简单理解为就是在执行完select之后，在所得结果集之上进行partition by分组 partition by相比较于group by，能够在保留全部数据的基础上，只对其中某些字段做分组排序（类似exc
读完本篇文章就会掌握hive over窗口函数的使用附带习题
是故事啊~关注我~
12-23 1799
前言：我们在学习hive窗口函数的时候，一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法，如果这样做，永远也掌握不到窗口函数的核心，当然我刚开始的时候也是这样做的。 还好我比较顽强，在HIVE窗口函数问题上折腾了半个月、看了很多文章后才知道over()才是窗口函数，而sum、row_number、count只是与over()搭配的分析函数，当然除了这三个函数还有其他的函数。 个人对over()的窗口理解：这个永
Hive concat函数和concat_ws函数和concat_group函数&row_number over()和sum() over()&列转行,行转列
缘字诀的博客
01-03 7973
concat函数,concat_ws函数，concat_group函数 hivesql中的concat函数,concat_ws函数，concat_group函数之间的区别 CONCAT（）函数 CONCAT（）函数用于将多个字符串连接成一个字符串。 使用数据表Info作为示例，其中 SELECT id,name FROM info LIMIT 1;的返回结果为 ±—±-------+ | id ...
Hive之函数篇（使用函数看这篇足够了）
&volume的博客
07-10 1347
时间戳：我们常说的时间戳是unix时间戳----指从1970年1月1日00:00:00（UTC--世界协调时间，便于统一时区---可以认为是0时区）起算的秒数，它用于表示某个时间点相对于UNIX纪元时间的时间差。完整函数有三个参数，参数1：字符串 参数2：从什么位置开始截取（从1开始，正数表示从左往右数数，找到指定位置，负数表示从右往左数数，从-1开始，找到指定位置）参数3：表示截取的字符数，不写默认截取到最后。参数2：传入的是需要查找的位置（加一个$(指代的前边传入的字符串).符号）
hive窗口函数最全总结
数据挖掘+大数据研发+算法学习
09-02 9345
hive窗口函数使用
Hive 窗口函数
01-07
over()：指定分析函数工作的数据窗口的大小，这个数据窗口大小会随着行的变而变化。over跟在聚合函数后面，只对聚合函数生效。 current row：当前行 n preceding：往前n行数据 n following：往后n行数据 unbounded：...
hive窗口函数.docx
07-08
数据蛙hive窗口函数 - 精心总结
HiveSQL窗口函数.pdf
12-18
HiveSQL窗口函数.pdf
大数据hive中窗口函数的一些常用函数
10-19
大数据hive中窗口函数的一些常用函数
【大数据开发】Hive——窗口函数、自定义函数
白色风车
10-26 688
一、窗口函数 如果要查询详细记录和聚合函数，必须要经过两次查询，比较麻烦，这个时候使用窗口函数，会方便很多 （1）窗口函数是针对每一行数据的 （2）如果over中没有指定参数，则默认窗口大小为全部结果集 注意：开窗函数不能直接写在where里面 --求01课程的平均成绩 select *, avg(sc.s_score) over() from mydb2.score sc where sc.c_id='01' --求每门课的平均成绩 select *, avg(sc.s_score) over(d
hive窗口函数(开窗函数)
weixin_44870066的博客
08-30 7604
hive开窗函数
hive窗口函数over()
TU_JCN的博客
07-23 2895
over()，指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。
Hive 窗口函数大全
suly_liping的博客
01-03 2634
hive的窗口函数使用集合和使用示例
(07)Hive——窗口函数详解
爱吃辣条的博客
02-11 2747
Hive窗口函数详解
hivesql窗口函数
最新发布
03-15
HiveSQL窗口函数是一种在Hive查询中使用的特殊函数，它可以对查询结果进行分组和排序，并在每个分组内进行计算。窗口函数可以用于解决一些复杂的数据分析问题，例如计算排名、累计求和等。 以下是HiveSQL窗口函数的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值