Hive分析窗口函数 GROUPING SETS、GROUPING__ID、CUBE、ROLLUP使用说明和示例

最新推荐文章于 2023-12-13 22:04:49 发布
最新推荐文章于 2023-12-13 22:04:49 发布
阅读量4k 收藏 31
点赞数 4
分类专栏： sparksql 数据仓库 文章标签： hive grouping sets cube rollup grouping__id
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helloxiaozhe/article/details/115762501
版权

Hive分析窗口函数 GROUPING SETS、GROUPING__ID、CUBE、ROLLUP使用说明和示例

0、概述

  • GROUPING SETS：根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL
  • GROUPING__ID：表示结果属于哪一个分组集合，属于虚字段
  • CUBE：根据GROUP BY的维度的所有组合进行聚合。
  • ROLLUP：为CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。

这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数,数量。

首先要弄明白rollup 和cube，就要知道group by的用法，group by 为对列进行分组，只展现分组统计的值，而rollup 为分层次展现，cube为展现列中所有层次，听我娓娓道来。

1、GROUPING SETS和GROUPING__ID

说明：在一个GROUP BY查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALLGROUPING__ID，表示结果属于哪一个分组集合。
grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。

select
    A,
    B,
    C,
    GROUPING__ID, 
    count(A)
from
    tableName
group by  --declare columns
    A,
    B,
    C
grouping sets
(
   (A,C),
   (A,B),
   (B,C),
   (C)
) 

其中grouping sets中的(A,C),   (A,B),   (B,C),   (C) 代表4个group by 组合， 相当于写了四个sql查询语句使用了四个不同的group by策略。
       group_id是为了区分每条输出结果是属于哪一个group by的数据。它是根据group by后面声明的顺序字段是否存在于当前group by中的一个二进制位组合数据。 比如（A,C）的 GROUPING__ID： GROUPING__ID(A,C) = GROUPING__ID(A)+GROUPING__ID(B)+GROUPING__ID(C) 的结果就是：二进制： 010 也就是2.
       select中的字段是完整的A,B,C，但是我们知道由于group by的存在，select 字段本不应该出现非group by字段的，所以这里我们要特别说明，如果解释器发现group by A,C 但是select A,B,C 那么运行时会将所有from 表取出的结果复制一份，B都置为null，也就是在结果中，B都为null。

1.1、原始数据准备

测试数据生成参见博客 spark-sql创建时间维度表

spark-sql> select * from xj_dim.dim_date_df where year_name=2021 limit 10;
dt    new_dt    dt_name    year_name    month_name    half_month    day_name    year_month    month_first_day    month_last_day    quarter    cn_quarter    en_quarter    week_number    year_week_number    week_first_day    week_last_day    daynumber_of_week    en_dayname_of_week    cn_dayname_of_week    daynumber_of_year
20210525    2021-05-25    2021年5月25日    2021    5    2021年05月下半月    25    202105    2021-05-01    2021-05-31    2    2021年第2季度    2021Q2    21    2021年第21周    2021-05-24    2021-05-30    2    Tuesday    星期二    145
20210526    2021-05-26    2021年5月26日    2021    5    2021年05月下半月    26    202105    2021-05-01    2021-05-31    2    2021年第2季度    2021Q2    21    2021年第21周    2021-05-24    2021-05-30    3    Wednesday    星期三    146
20210527    2021-05-27    2021年5月27日    2021    5    2021年05月下半月    27    202105    2021-05-01    2021-05-31    2    2021年第2季度    2021Q2    21    2021年第21周    2021-05-24    2021-05-30    4    Thursday    星期四    147
20210528    2021-05-28    2021年5月28日    2021    5    2021年05月下半月    28    202105    2021-05-01    2021-05-31    2    2021年第2季度    2021Q2    21    2021年第21周    2021-05-24    2021-05-30    5    Friday    星期五    148
20210529    2021-05-29    2021年5月29日    2021    5    2021年05月下半月    29    202105    2021-05-01    2021-05-31    2    2021年第2季度    2021Q2    21    2021年第21周    2021-05-24    2021-05-30    6    Saturday    星期六    149
20210530    2021-05-30    2021年5月30日    2021    5    2021年05月下半月    30    202105    2021-05-01    2021-05-31    2    2021年第2季度    2021Q2    21    2021年第21周    2021-05-24    2021-05-30    7    Sunday    星期日    150
20210531    2021-05-31    2021年5月31日    2021    5    2021年05月下半月    31    202105    2021-05-01    2021-05-31    2    2021年第2季度    2021Q2    22    2021年第22周    2021-05-31    2021-06-06    1    Monday    星期一    151
20210601    2021-06-01    2021年6月1日    2021    6    2021年06月上半月    1    202106    2021-06-01    2021-06-30    2    2021年第2季度    2021Q2    22    2021年第22周    2021-05-31    2021-06-06    2    Tuesday    星期二    152
20210602    2021-06-02    2021年6月2日    2021    6    2021年06月上半月    2    202106    2021-06-01    2021-06-30    2    2021年第2季度    2021Q2    22    2021年第22周    2021-05-31    2021-06-06    3    Wednesday    星期三    153
20210603    2021-06-03    2021年6月3日    2021    6    2021年06月上半月    3    202106    2021-06-01    2021-06-30    2    2021年第2季度    2021Q2    22    2021年第22周    2021-05-31    2021-06-06    4    Thursday    星期四    154
Time taken: 2.314 seconds, Fetched 10 row(s)

1.2、对所有明细数据按年份、月份、年月，三者分别汇总，获取其汇总结果

select GROUPING__ID,year_name,month_name,count(*) as num 
from xj_dim.dim_date_df 
where year_name=2021 
group by year_name,month_name 
grouping sets (year_name
              ,month_name
              ,(year_name,month_name)       
              ) 
order by GROUPING__ID;

grouping__id    year_name    month_name    num
0    2021    9    30
0    2021    6    30
0    2021    11    30
0    2021    12    31
0    2021    10    31
0    2021    2    28
0    2021    7    31
0    2021    5    31
0    2021    4    30
0    2021    8    31
0    2021    3    31
0    2021    1    31
1    2021    NULL    365
2    NULL    10    31
2    NULL    2    28
2    NULL    12    31
2    NULL    1    31
2    NULL    7    31
2    NULL    9    30
2    NULL    8    31
2    NULL    6    30
2    NULL    3    31
2    NULL    5    31
2    NULL    4    30
2    NULL    11    30
Time taken: 11.01 seconds, Fetched 25 row(s)

1.3、对所有明细数据按年份+月份、年份+季度、季度+月份，月份 四者分别汇总，获取其汇总结果

select GROUPING__ID,year_name,cn_quarter,month_name,count(*) as num 
from dim_date_df 
where year_name=2021 
group by year_name,cn_quarter,month_name 
grouping sets ((year_name,month_name)
              ,(year_name,cn_quarter)
              ,(cn_quarter,month_name)
              ,(month_name)
              ,(year_name,cn_quarter,month_name)
              ) 
order by GROUPING__ID;

grouping__id    year_name    cn_quarter    month_name    num
0    2021    2021年第3季度    8    31
0    2021    2021年第3季度    7    31
0    2021    2021年第4季度    11    30
0    2021    2021年第4季度    12    31
0    2021    2021年第2季度    4    30
0    2021    2021年第2季度    5    31
0    2021    2021年第1季度    2    28
0    2021    2021年第2季度    6    30
0    2021    2021年第1季度    1    31
0    2021    2021年第3季度    9    30
0    2021    2021年第4季度    10    31
0    2021    2021年第1季度    3    31
1    2021    2021年第3季度    NULL    92
1    2021    2021年第1季度    NULL    90
1    2021    2021年第2季度    NULL    91
1    2021    2021年第4季度    NULL    92
2    2021    NULL    1    31
2    2021    NULL    2    28
2    2021    NULL    11    30
2    2021    NULL    3    31
2    2021    NULL    4    30
2    2021    NULL    12    31
2    2021    NULL    10    31
2    2021    NULL    9    30
2    2021    NULL    7    31
2    2021    NULL    6    30
2    2021    NULL    5    31
2    2021    NULL    8    31
4    NULL    2021年第3季度    9    30
4    NULL    2021年第4季度    11    30
4    NULL    2021年第4季度    12    31
4    NULL    2021年第3季度    8    31
4    NULL    2021年第3季度    7    31
4    NULL    2021年第1季度    3    31
4    NULL    2021年第1季度    1    31
4    NULL    2021年第2季度    6    30
4    NULL    2021年第2季度    4    30
4    NULL    2021年第1季度    2    28
4    NULL    2021年第4季度    10    31
4    NULL    2021年第2季度    5    31
6    NULL    NULL    11    30
6    NULL    NULL    5    31
6    NULL    NULL    10    31
6    NULL    NULL    4    30
6    NULL    NULL    3    31
6    NULL    NULL    12    31
6    NULL    NULL    6    30
6    NULL    NULL    8    31
6    NULL    NULL    9    30
6    NULL    NULL    1    31
6    NULL    NULL    7    31
6    NULL    NULL    2    28
Time taken: 5.746 seconds, Fetched 52 row(s)

GROUPING__ID 解释
GROUPING__ID是hive生成的，是标识维度组合的十进制数字。

以上面的例子说明 Grouping__ID 的生成规则：

group by 所有字段中，如果在 grouping sets 的组合中存在的字段使用 0 表示，没有使用则使用 1 表示

year_name,cn_quarter,month_name 

  • year_name,cn_quarter,month_name  0 000
  • year_name,cn_quarter                       1 001
  • year_name,month_name                   2 010
  • cn_quarter,month_name                    4 100
  • month_name                                      6 110

1.4、grouping sets例子

select GROUPING__ID,year_name,cn_quarter,month_name,count(*) as num 
from dim_date_df 
where year_name=2021 
group by year_name,cn_quarter,month_name 
grouping sets (year_name
              ,cn_quarter
              ,month_name
              ) 
order by GROUPING__ID;

grouping__id    year_name    cn_quarter    month_name    num
3    2021    NULL    NULL    365
5    NULL    2021年第3季度    NULL    92
5    NULL    2021年第4季度    NULL    92
5    NULL    2021年第1季度    NULL    90
5    NULL    2021年第2季度    NULL    91
6    NULL    NULL    11    30
6    NULL    NULL    5    31
6    NULL    NULL    10    31
6    NULL    NULL    4    30
6    NULL    NULL    3    31
6    NULL    NULL    12    31
6    NULL    NULL    6    30
6    NULL    NULL    8    31
6    NULL    NULL    9    30
6    NULL    NULL    1    31
6    NULL    NULL    7    31
6    NULL    NULL    2    28
Time taken: 4.761 seconds, Fetched 17 row(s)

2、CUBE 和 ROLLUP

CUBE：根据GROUP BY的维度的所有组合进行聚合。
ROLLUP：为CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。

2.1、 rollup示例

select GROUPING__ID,year_name,cn_quarter,month_name,count(*) as num 
from dim_date_df 
where year_name=2021 
group by rollup(year_name,cn_quarter,month_name)
order by GROUPING__ID;

grouping__id    year_name    cn_quarter    month_name    num
0    2021    2021年第3季度    8    31
0    2021    2021年第3季度    7    31
0    2021    2021年第4季度    11    30
0    2021    2021年第4季度    12    31
0    2021    2021年第2季度    4    30
0    2021    2021年第2季度    5    31
0    2021    2021年第1季度    2    28
0    2021    2021年第2季度    6    30
0    2021    2021年第1季度    1    31
0    2021    2021年第3季度    9    30
0    2021    2021年第4季度    10    31
0    2021    2021年第1季度    3    31
1    2021    2021年第3季度    NULL    92
1    2021    2021年第1季度    NULL    90
1    2021    2021年第2季度    NULL    91
1    2021    2021年第4季度    NULL    92
3    2021    NULL    NULL    365
7    NULL    NULL    NULL    365
Time taken: 2.963 seconds, Fetched 18 row(s)

这是就回到了开始所说的，rollup为分层次展现，怎么个分层次法呢？

  • grouping__id=0 代表 year_name,cn_quarter,month_name
  • grouping__id=1 代表 year_name,cn_quarter
  • grouping__id=3 代表 year_name
  • grouping__id=4 代表 所有

其中第一行为group by出来的，接下来的三行即为分层次汇总统计，而最后的空白的一行为对所有数据进行汇总统计。

2.2、cube示例

说完rollup，开始说cube

开始说cube为展现所有层次，这是什么意思呢？就是有这里面所有的分组汇总统计

select GROUPING__ID,year_name,cn_quarter,month_name,count(*) as num 
from dim_date_df 
where year_name=2021 
group by cube(year_name,cn_quarter,month_name)
order by GROUPING__ID;

grouping__id    year_name    cn_quarter    month_name    num
0    2021    2021年第3季度    8    31
0    2021    2021年第3季度    7    31
0    2021    2021年第4季度    11    30
0    2021    2021年第4季度    12    31
0    2021    2021年第2季度    4    30
0    2021    2021年第2季度    5    31
0    2021    2021年第1季度    2    28
0    2021    2021年第2季度    6    30
0    2021    2021年第1季度    1    31
0    2021    2021年第3季度    9    30
0    2021    2021年第4季度    10    31
0    2021    2021年第1季度    3    31
1    2021    2021年第3季度    NULL    92
1    2021    2021年第1季度    NULL    90
1    2021    2021年第2季度    NULL    91
1    2021    2021年第4季度    NULL    92
2    2021    NULL    1    31
2    2021    NULL    2    28
2    2021    NULL    11    30
2    2021    NULL    3    31
2    2021    NULL    4    30
2    2021    NULL    12    31
2    2021    NULL    10    31
2    2021    NULL    9    30
2    2021    NULL    7    31
2    2021    NULL    6    30
2    2021    NULL    5    31
2    2021    NULL    8    31
3    2021    NULL    NULL    365
4    NULL    2021年第3季度    9    30
4    NULL    2021年第4季度    11    30
4    NULL    2021年第4季度    12    31
4    NULL    2021年第3季度    8    31
4    NULL    2021年第3季度    7    31
4    NULL    2021年第1季度    3    31
4    NULL    2021年第1季度    1    31
4    NULL    2021年第2季度    6    30
4    NULL    2021年第2季度    4    30
4    NULL    2021年第1季度    2    28
4    NULL    2021年第4季度    10    31
4    NULL    2021年第2季度    5    31
5    NULL    2021年第3季度    NULL    92
5    NULL    2021年第4季度    NULL    92
5    NULL    2021年第1季度    NULL    90
5    NULL    2021年第2季度    NULL    91
6    NULL    NULL    11    30
6    NULL    NULL    5    31
6    NULL    NULL    10    31
6    NULL    NULL    4    30
6    NULL    NULL    3    31
6    NULL    NULL    12    31
6    NULL    NULL    6    30
6    NULL    NULL    8    31
6    NULL    NULL    9    30
6    NULL    NULL    1    31
6    NULL    NULL    7    31
6    NULL    NULL    2    28
7    NULL    NULL    NULL    365
Time taken: 4.676 seconds, Fetched 58 row(s)

3、处理空值，使用 grouping()函数

此时有一个方法为grouping() 可以查看该值是否有rollup|cube产生的，若为其值则为1，否则为0，使用一个case when或者if函数判断一下就好。

3.1、空值示例

下面为使用cube时，可以看出每个有cube产生合计，即空值处，其grouping的值都为1

select GROUPING__ID,year_name,cn_quarter,month_name,count(*) as num,GROUPING(year_name),GROUPING(cn_quarter),GROUPING(month_name) 
from dim_date_df 
where year_name=2021 
group by rollup(year_name,cn_quarter,month_name)
order by GROUPING__ID;
grouping__id    year_name    cn_quarter    month_name    num    grouping(year_name)    grouping(cn_quarter)    grouping(month_name)
0    2021    2021年第3季度    8    31    0    0    0
0    2021    2021年第3季度    7    31    0    0    0
0    2021    2021年第4季度    11    30    0    0    0
0    2021    2021年第4季度    12    31    0    0    0
0    2021    2021年第2季度    4    30    0    0    0
0    2021    2021年第2季度    5    31    0    0    0
0    2021    2021年第1季度    2    28    0    0    0
0    2021    2021年第2季度    6    30    0    0    0
0    2021    2021年第1季度    1    31    0    0    0
0    2021    2021年第3季度    9    30    0    0    0
0    2021    2021年第4季度    10    31    0    0    0
0    2021    2021年第1季度    3    31    0    0    0
1    2021    2021年第3季度    NULL    92    0    0    1
1    2021    2021年第1季度    NULL    90    0    0    1
1    2021    2021年第2季度    NULL    91    0    0    1
1    2021    2021年第4季度    NULL    92    0    0    1
3    2021    NULL    NULL    365    0    1    1
7    NULL    NULL    NULL    365    1    1    1
Time taken: 6.197 seconds, Fetched 18 row(s)

3.2、空值处理例子

select GROUPING__ID,if(GROUPING(year_name)=0,year_name,'year'),if(GROUPING(cn_quarter)=0,cn_quarter,'quarter'),if(GROUPING(month_name)=0,month_name,'month'),count(*) as num
from dim_date_df 
where year_name=2021 
group by rollup(year_name,cn_quarter,month_name)
order by GROUPING__ID;

grouping__id    (IF((CAST(grouping(year_name) AS INT) = 0), CAST(year_name AS STRING), year))    (IF((CAST(grouping(cn_quarter) AS INT) = 0), cn_quarter, quarter))    (IF((CAST(grouping(month_name) AS INT) = 0), CAST(month_name AS STRING), month))    num
0    2021    2021年第3季度    8    31
0    2021    2021年第3季度    7    31
0    2021    2021年第4季度    11    30
0    2021    2021年第4季度    12    31
0    2021    2021年第2季度    4    30
0    2021    2021年第2季度    5    31
0    2021    2021年第1季度    2    28
0    2021    2021年第2季度    6    30
0    2021    2021年第1季度    1    31
0    2021    2021年第3季度    9    30
0    2021    2021年第4季度    10    31
0    2021    2021年第1季度    3    31
1    2021    2021年第3季度    month    92
1    2021    2021年第1季度    month    90
1    2021    2021年第2季度    month    91
1    2021    2021年第4季度    month    92
3    2021    quarter    month    365
7    year    quarter    month    365
Time taken: 9.146 seconds, Fetched 18 row(s)

参考：https://www.cnblogs.com/springy/p/9375236.html

Data_IT_Farmer
关注
  • 4
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【大数据入门核心技术-Hive】（二十）Hive之grouping sets用法及grouping_id计算方法
05-08 110
grouping sets 中的每一种粒度，都对应唯一的 grouping__id 值，其计算公式与 group by 的顺序、当前粒度的字段有关。3、grouping sets 中的所有字段，都必须出现在 group by 中，相当于 group by 后面的字段是最细粒度。4、如果 select 中的字段，没有包含在某个 grouping set 中，那么这个粒度下的这个字段值为 NULL。这就是上面 grouping sets 的结果中 grouping__id 值的由来。
Hive分析窗口函数 GROUPING SETS、GROUPING__ID
菜如张学清的博客
06-26 5116
目录 1.概述 2.数据准备 2.1数据格式 2.2创表语句 3.GROUPING SETS和GROUPING__ID 3.1 GROUPING SETS例1 3.1.1查询语句 3.1.2等价于 3.1.3查询结果 3.1.4 结果说明 3.2GROUPING SETS 例2 3.2.1 查询语句 3.2.2 等价于 3.2.3 查询结果 3.3GROU...
grouping__id grouping sets在hive和spark中执行的区别
ganghaodream的博客
04-18 1989
一、hive中的grouping__id的数字规则（取反有则为1无则为0） 如 select a,b,c,grouping__id from test group by a,b,c grouping sets ((ab),(ac),(abc)) 规则：根据group by 字段 ，从低到高，group sets中出现的字段是1没出现是0 如 （a,b）对应 011 （a,c）对应 101 二、spark中的grouping__id()的数字规则（有则为0无则为1） 如 select a,b,c,gr..
Hive - Cube, Rollup, GroupingId 示例与详解
BITDDD小栈
05-06 2671
​上篇文章讲到了Grouping Sets 的使用方法，Grouping Sets 可以看做是将 group by 的内容进行 union 整合，这篇文章将基于同一思想进行扩展介绍两个方法 Cube 以及 Rollup，同时给出辅助函数 GroupingId 的生成方法与使用方法。...
oracle中的GROUP_ID、GROUPING、GROUPING_ID函数
不知跬步无至千里
08-08 6413
GROUP_ID函数 GROUP_ID函数可以辨识出GROUP BY分组后的冲突的结果集，他可以用来过滤冲突的结果集，它返回一个oracle NUMBER 类型的数据来表示结果集，只适用于使用Select语句并包含GROUP BY的情况。如果一个结果集中有n个冲突的记录，GROUP_ID将会返回0-(n-1)间的数字。 Examples： The following example ass...
hive中cube, grouping sets, grouping__id应用
Brad_Q1的博客
07-16 975
hive 中grouping sets, grouping__id以及cube的具体应用及案例
【hive sql】hive中GROUPING SETS用法的GROUPING__ID的计算方法
sinat_36894556的博客
11-08 522
hive中GROUPING SETS用法的GROUPING__ID的计算方法
hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc
09-23
大数据分析工具 hive 高级分析函数的使用与优化，笔记整理！
02.hive内置函数--窗口分析函数--row_number_over.mp4
04-29
02.hive内置函数--窗口分析函数--row_number_over.mp4
hive窗口函数.docx
07-08
Hive 窗口函数详解 Hive 窗口函数是 Hive 中的一种强大的...Hive 窗口函数是一种非常有用的分析函数，可以帮助我们更好地分析和处理数据。通过练习和实践，我们可以更好地掌握 Hive 窗口函数的使用方法和应用场景。
hive窗口函数
01-09
hive窗口系列函数
Hive 窗口函数
01-07
over()：指定分析函数工作的数据窗口的大小，这个数据窗口大小会随着行的变而变化。over跟在聚合函数后面，只对聚合函数生效。 current row：当前行 n preceding：往前n行数据 n following：往后n行数据 unbounded：...
Hive cube / rollup / grouping sets/GROUPING__ID用法详解
weixin_44161678的博客
07-02 527
Hive cube / rollup / grouping sets/GROUPING__ID用法详解
[Hive学习]聚合增强函数解析：grouping sets、cube、rollup、grouping判断
最新发布
alie_123的博客
12-13 436
本文介绍了hive聚合增强函数：grouping sets、cube、rollup、grouping判断的使用方法及注意细节。
如何使用grouping__id得到多维统计结果
weixin_43451620的博客
07-08 251
使用hive、spark进行多维统计分析
hive 函数 Cube
a45691316的博客
04-28 398
hive 函数 Cube 最近在优化一个报表系统。leader 提示我可以用cube函数。在此记录一下使用： 1） cube 简称数据魔方。 可以实现hive多个任意维度的查询。 cube(a,b,c) 首先会对(a,b,c)进行group by，然后依次...
ORACLE GROUPING_ID函数
luguohai123的专栏
05-16 617
可以使用GROUPING_ID函数借助HAVING子句对记录进行过滤，将不包含小计 或者总计的记录除去。GROUPING_ID()函数可以接受一列或多列，返回GROUPING 位向量的十进制值。GROUPING位向量的计算方法是将按照顺序对每一列调用GROUPING 函数的结果组合起来。   1、GROUPING_ID用法实例 SQL> select 2 division_i
【Hive】窗口函数（开窗函数部分）
康师傅没有眼泪
11-24 2640
我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数.目前，我用的多的就是 row_number() , sum(), 解决topN 问题，分区排序，累积计数。hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于OLAP分析（在线分析处理）。
Hive多维分析函数-GROUPING SETS、GROUPING__ID、CUBE、ROLLUP
m0_64670604的博客
01-09 287
Hive多维分析
hive中grouping sets 用法
05-30
在Hive中，GROUPING SETS是一种聚合操作，它可以同时对多个维度进行分组聚合，而不需要使用多个GROUP BY子句。使用GROUPING SETS可以极大地简化SQL语句的编写，并提高查询性能。以下是一个使用GROUPING SETS的示例： ``` SELECT col1, col2, SUM(col3) FROM table_name GROUP BY GROUPING SETS((col1), (col2), (col1, col2)); ``` 在上述示例中，使用GROUPING SETS对col1和col2进行分组聚合，并计算col3的总和。GROUPING SETS子句的参数是一个包含多个分组集的列表。在上述示例中，我们使用了三个分组集：(col1)、(col2)和(col1, col2)。这意味着我们将按照col1、col2和(col1, col2)这三个维度进行分组聚合，并计算col3的总和。 值得注意的是，使用GROUPING SETS时，查询结果中可能会包含空行，因为GROUPING SETS会尝试对所有可能的分组组合进行聚合。如果您想要过滤掉空行，可以使用HAVING子句。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值