多维度组合grouping sets

最新推荐文章于 2024-08-25 13:51:40 发布

benbendexiaolanxiong

最新推荐文章于 2024-08-25 13:51:40 发布

阅读量120

点赞数 2

分类专栏： sql技巧文章标签： sql

本文链接：https://blog.csdn.net/benbendexiaolanxiong/article/details/141368639

版权

sql技巧专栏收录该内容

4 篇文章 0 订阅

订阅专栏

最近优化一段sql，业务需求是按维度字段进行全排列汇总指标。粗略算了一下大约有十几种维度组合，如果按组合分类分别进行汇总，代码特别臃肿，现在使用Hive中的grouping sets对sql进行优化。

另外，因为应用组需要按组合维度进行筛选，需要添加一个字段指明维度字段。这里用到了grouping__id(注意这里是两个英文"_"组合到一起)。计算规则就是：

先列出维度字段，如果该字段参与维度计算，则默认0；如果不参与维度计算，则默认1。然后获得其组合起来的二进制数转换为对应的十进制，就是grouping__id的值，这样我们就可以根据grouping__id的值判断当前行属于哪个维度了。

具体可以参考以下示例理解：

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

benbendexiaolanxiong

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
多维度组合grouping sets

grouping sets示例
复制链接

扫一扫

专栏目录

SQL—解决多维度随机组合查询场景：grouping sets函数

weixin_46010244的博客

08-02

1626

通过grouping sets函数，极大提高我们的开发效率，即使有更多维度组合的增加，只需要在grouping sets函数中新增即可，当然案例中姓名不具有实质性分组聚合意义，数据的展示问题需要做进一步处理，但相较于大量的union，grouping sets函数已经可以极大的对代码进行调优。

hive中grouping sets的使用

热门推荐

Wflowerd的博客

10-27

1万+

GROUPING SETS：根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL GROUPING__ID：表示结果属于哪一个分组集合，属于虚字段 CUBE：根据GROUP BY的维度的所有组合进行聚合。 ROLLUP：为CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。关于grouping sets的使用...

参与评论您还未登录，请先登录后发表或查看评论

hive 不同维度聚合 grouping sets 使用详情

weixin_46609492的博客

04-18

589

【代码】hive 不同维度聚合 grouping sets 使用详情。

【hive】grouping sets函数 多维度数据生成

qq_35218261的博客

12-27

591

grouping sets

维度分析函数-grouping sets

qq_44463295的博客

01-22

745

一、group sets 就是在进行数据分析的时候，可以通过一个select 语句查询多条来自不同维度的数据汇总，进行数据分析 select ename,deptno,avg(sal) from emp group by ename,deptno grouping sets ((ename,deptno),ename,deptno,()); 从四个维度来进行分析 avg(sal)，薪资的平均值（ename,dept）:名字和部门（ename）:姓名（dept）:部门（）：总的平均值该函数只是为

hive通过grouping sets多维度组合去重统计避免使用distinct

fuyun6363的博客

02-23

3167

在hive中，如果遇到多维度组合统计，并且要进行去重统计，例如统计不同维度组合的访问用户数，比如统计运营商、手机品牌、网络类型的用户数，怎样避免不用ditinct（因为distinct效率低），并且grouping__id和以前维度组合保持一致呢？ select * from temp.temp_active_user_info t limit 10; 实现方法一：通过grouping set...

grouping sets和with cube以及array+explode做多维度聚合统计

m0_70949976的博客

11-16

160

1、如果汇总维度低于3个，且需要定制化，则用grouping sets，如果超过3个，则用array+explode 2、如果汇总维度低于3个，且无需定制化，则用with cube，如果超过3个，则用array+explode

GROUPING SETS特殊用法之grouping__id

programmer_trip的博客

05-11

709

grouping sets特殊用法之grouping__id

hive grouping sets多维度报错

weixin_30381793的博客

04-02

1415

An additional MR job is introduced since the cardinality of grouping sets is more than hive.new.job.grouping.set.cardinality. This functionality is not supported with distincts. Either set hive.new.jo...

Oracle中用GROUPING SETS分组自定义汇总

03-03

总的来说，`GROUP BY GROUPING SETS`在处理多维度分析时提供了强大的工具，允许我们定制汇总级别，同时保持查询性能的高效。它使得在Oracle数据库中生成复杂的报表变得更加方便，能够更好地满足数据分析的需求。

rollup cube grouping sets的用法

01-26

在数据库查询语言 SQL 中，`ROLLUP`, `CUBE`, 和 `GROUPING SETS` 是三个重要的概念，它们主要用于处理多维度数据的汇总和分组问题，使得数据分析更加灵活高效。接下来，我们将详细介绍这三个概念的原理、语法以及...

rollup,cube,grouping sets()的个人理解

10-16

而在更复杂的场景下，为了方便地处理多级别的汇总数据，SQL提供了三种额外的语法：`ROLLUP`、`CUBE`以及`GROUPING SETS()`。这些语法可以帮助我们更加灵活地处理分组结果，并且可以有效地减少查询次数，提高效率。 ...

《Pro Oracle SQL》Chapter7 Advanced Grouping -- 7.5Putting CUBE To Work

03-28

因此，为了优化性能和减少不必要的结果，我们可能需要配合使用ROLLUP或GROUPING SETS，它们提供了更细粒度的控制来生成特定的分组组合。同时，我们还可以使用HAVING子句来过滤不感兴趣的结果，比如去除包含NULL的...

Oracle分组统计

01-06

Grouping Sets 的优点是可以同时对多个列进行分组和聚合计算，且可以根据需要进行灵活的调整。但是，Grouping Sets 也有一些限制，它只能对有限的列进行分组和聚合计算，且对大规模数据的处理效率不高。在实际应用...

SQL 时间盲注（injection 第十六关）

baishiqi12的博客

08-20

534

SQL 注入，仅供参考

PostgreSQL案例：planning time超长问题分析

liuzhilong的博客

08-21

965

库总是OOM，分析到是执行计划生成有问题，planning time 1秒，planning shared hit 100w。一通分析，定位到是统计信息基表pg_statistic膨胀，由于会话首次SQL执行时的CatCacheMiss，导致backend访问并缓存了pg_statistic过多的死元组数据。应用连接总会启用新会话，多个backend的总内存过大从而导致OOM。

PostgreSQL：后端开发者的瑞士军刀

最新发布

m0_52796585的博客

08-25

1247

PostgreSQL是一个功能丰富、高度可扩展的数据库系统，它为后端开发者提供了强大的工具来构建复杂的数据解决方案。从基础的SQL操作到高级的性能优化和安全特性，PostgreSQL都是后端开发者的可靠伙伴。随着你在使用PostgreSQL的过程中不断学习和实践，你会发现它是一个真正的瑞士军刀，能够满足你在后端开发中的各种需求。

HeidiSQL中一些简单mysql语句的含义（一）

2201_75345199的博客

08-23

526

创建一个数据库，这个是数据库的名字叫java62#删除数据库java62#查看当前mysql里的所有数据库#创建student表，varchar括号里的是字符串的长度#查看当前数据库里有哪些表#删除student表。

grouping sets函数

08-18

grouping sets函数是一种用于进行多维度分组计算的聚合函数。它允许在一个查询中同时对多个维度进行分组，并生成多个层次的汇总结果。使用grouping sets函数可以传入一个或多个分组列表，每个分组列表可以包含一个或多个列。查询结果将根据这些分组列表进行分组，并生成相应的汇总结果。例如，假设我们有一个销售数据表，其中包含产品、地区和时间信息。我们可以使用grouping sets函数同时按产品、地区和时间进行分组，并生成不同层次的销售总额。示例查询语句如下： SELECT product, region, date, SUM(sales) as total_sales FROM sales_table GROUP BY GROUPING SETS ((product), (region), (date), (product, region), (product, date), (region, date), ()) ORDER BY product, region, date; 这个查询将返回按产品、地区和时间进行分组的销售总额，并按照产品、地区和时间的顺序进行排序。最后一个空括号表示生成所有可能的汇总结果。通过使用grouping sets函数，我们可以在单个查询中灵活地实现多维度的分组计算，简化了查询语句的编写，并提高了查询的效率和可读性。