hive报错 Grouping sets size cannot be greater than 64

最新推荐文章于 2023-10-10 11:13:56 发布
最新推荐文章于 2023-10-10 11:13:56 发布
阅读量2.1k 收藏
点赞数 5
文章标签： hive hadoop 数据仓库 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Azoner/article/details/128919472
版权
文章讨论了Hive在执行SQL时如何将distinct操作优化为groupbygroupingset的方式，特别是当默认的groupingsetcardinality（64）不足时。通过设置hive.new.job.grouping.set.cardinality为128（大于字段数），可以在不使用distinct的情况下，利用子查询中的groupby实现逻辑上的去重，达到优化查询性能的目的。
摘要由CSDN通过智能技术生成

1.原因：

  1. 使用了distinct，hive在执行SQL前优化改写distinct 为 group by 模式--即将 "所有字段进行group by" = "grouping set(所有字段)"
  2. 默认set hive.new.job.grouping.set.cardinality=64;

2.方法:

  1. set hive.new.job.grouping.set.cardinality=128;(大于字段数）
  2. 不用distinct，改用在子查询中进行group by进行逻辑上的去重

Azoner
关注
数仓工具—Hive语法之grouping sets(5)
01-01 6万+
GROUPING SETS就是一种将多个GROUP BY逻辑UNION写在一个HIVE SQL语句中的便利写法。 GROUPING SETS会把在单个GROUP BY逻辑中没有参与GROUP BY的那一列置为NULL值，这样聚合出来的结果，未被GROUP BY的列将显示为NULL。
Hive分析窗口函数 GROUPING SETS、GROUPING__ID
菜如张学清的博客
06-26 5215
目录 1.概述 2.数据准备 2.1数据格式 2.2创表语句 3.GROUPING SETS和GROUPING__ID 3.1 GROUPING SETS例1 3.1.1查询语句 3.1.2等价于 3.1.3查询结果 3.1.4 结果说明 3.2GROUPING SETS 例2 3.2.1 查询语句 3.2.2 等价于 3.2.3 查询结果 3.3GROU...
[hive]解决group by 字段超过系统规定64个
最新发布
胖胖的博客
10-10 256
用开窗函数即可where rn=1。
hive3.0惊天大bug发现，grouping()函数只能小写，大写直接报错，hive不是不区分大小写吗.
zwmonk的博客
08-09 896
在最近写脚本时发现，一直使用的grouping()函数只能小写，改成大写直接报错。下面例子来证明一下。 1.如下图为表的数据 hive> select * from dwd_user_page_view_dm; OK user_id pv pt_d 0006D2BC14DF914C0 62 20201011 83AD10183789E78D4 4 20201011 15AE1A14B8
presto查hive报错：end index must not be greater than size 问题分析和解决
涤生大数据
12-17 1714
presto0.208连接hive有不少坑，请尽量不要选择这个版本。presto0.208以上的版本，jdk需要8_151+
hive中grouping sets
u011500419的专栏
04-11 1659
hive中grouping sets 数量较多时如何处理? 可以使用如下设置来 sethive.new.job.grouping.set.cardinality=30; 这条设置的意义在于告知解释器，group by之前，每条数据复制量在30份以内。 grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。 demo： sele...
Hive.GROUPING SETS
top8488.top大数据
10-15 174
如果说聚合函数（Simple UDAF / Generic UDAF）是HQL聚合数据查询或分析的中枢处理器，那GROUP BY可以说是聚合函数的神经了，GROUP BY收集和传递材料，然后交给聚合函数们去处理。这些材料的组织形式显得尤为重要，它们表达着分析者想要的观察维度或视角，管理着聚合函数们的操作对象。 而分析者经常想要在一次分析中从多个维度去获得分析数据，对包含多个维度或多级层次的分析，上卷（roll up）或下钻（drill down）一类就很有分析价值。 我们有时...
hive--grouping sets相关报错
qq_46893497的博客
02-07 2208
文章目录missing ) at ',' near ')'，同时其报错位置指向grouping sets 括号内部SemanticException 104:1 [Error 10213]: Grouping sets expression is not in GROUP BY key. Error encountered near token ... missing ) at ‘,’ near ‘)’，同时其报错位置指向grouping sets 括号内部 报错sql select tab1.a
hive中grouping sets的使用
Wflowerd的博客
10-27 1万+
GROUPING SETS：根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL GROUPING__ID：表示结果属于哪一个分组集合，属于虚字段 CUBE：根据GROUP BY的维度的所有组合进行聚合。 ROLLUP：为CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。 关于grouping sets的使用...
Hive/Presto中函数grouping sets用法详解（踩坑总结，看到赚到）
热门推荐
LdyLly的博客
04-24 2万+
本文详细记录了函数grouping sets使用时遇到的坑，基于Hive和Presto实现。
Hive开窗函数测试-cube，rollup
04-19
NULL 博文链接：https://wankunde.iteye.com/blog/1879565
hive中cube, grouping sets, grouping__id应用
Brad_Q1的博客
07-16 1009
hive 中grouping sets, grouping__id以及cube的具体应用及案例
Hive.GROUPING SETS的“陷阱”
wer0735的博客
07-16 2699
转载：https://blog.csdn.net/mashroomxl/article/details/23022123之前整理了一下Hive 0.10版引进的GROUPING SETS子句特性，并作了简单的句法使用体验和数据验证。但是当时没有注意到稍微复杂一点的情况，然后，在实际使用过程中，妥妥地就中了一枪。       这一枪发生在有JOIN操作的时候，情况是这样的：我要对Hive表data_...
hive中的grouping sets的使用和实际应用
滴水穿石的启示
11-27 1598
grouping sets如何使用 数据准备： 建表语句： use default; create table gb( a string, b string, c int )row format delimited fields terminated by '\t' stored as textfile; 案例数据： 1 1 1 2 ...
Hive中数据去重的办法
HZAOLICHENG的博客
03-21 1031
数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换：方法一: select name,count(distinct(related_id)) from emp group by name; ...
《Hive性能调优实战》摘录
weixin_40503364的博客
05-08 1580
性能调优的多样性 1 SQL优化 union all可以改成两次连续的insert插入可以提高mapreduce性能， 但是在之后的版本hive自身做了优化，该方法则并不能再提高性能 2 数据块大小 减少map数量，提高网络传输压力有时候可以提高性能 3 不同的数据格式 SequenceFile Parquet ORC 4 表设计 如分区，分桶，同时分区分桶 排查和调优思路 ...
hive-参数调优
weixin_44280356的博客
04-19 2421
set hive.vectorized.execution.enabled=false; set mapreduce.map.speculative=false; set mapreduce.reduce.speculative=false; use ads_chpp_dev; set mapreduce.job.queuename=badm; ...
Kernel size can‘t be greater than actual input size的解决方案
weixin_61745097的博客
02-25 6445
报错信息：RuntimeError: Calculated padded input size per channel: (49). Kernel size: (64). Kernel size can't be greater than actual input size。解决方案：不用修改卷积核大小，修改stride和padding即可。
hive中grouping sets 用法
05-30
在Hive中，GROUPING SETS是一种聚合操作，它可以同时对多个维度进行分组聚合，而不需要使用多个GROUP BY子句。使用GROUPING SETS可以极大地简化SQL语句的编写，并提高查询性能。以下是一个使用GROUPING SETS的示例： ``` SELECT col1, col2, SUM(col3) FROM table_name GROUP BY GROUPING SETS((col1), (col2), (col1, col2)); ``` 在上述示例中，使用GROUPING SETS对col1和col2进行分组聚合，并计算col3的总和。GROUPING SETS子句的参数是一个包含多个分组集的列表。在上述示例中，我们使用了三个分组集：(col1)、(col2)和(col1, col2)。这意味着我们将按照col1、col2和(col1, col2)这三个维度进行分组聚合，并计算col3的总和。 值得注意的是，使用GROUPING SETS时，查询结果中可能会包含空行，因为GROUPING SETS会尝试对所有可能的分组组合进行聚合。如果您想要过滤掉空行，可以使用HAVING子句。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值