Hive Sql之取非Group by字段数据的方法

南风知我意丿

已于 2022-10-26 23:39:06 修改

阅读量1k

点赞数 2

分类专栏： SQL 文章标签： hive hadoop big data

于 2022-05-12 22:49:38 首次发布

本文链接：https://blog.csdn.net/Lzx116/article/details/124741929

版权

本文介绍了在Hive中如何使用collect_set和collect_list函数处理非GROUP BY字段的数据，collect_set返回去重的对象集合，而collect_list则保留重复项。通过这些函数，可以将非聚合字段转化为数组形式进行处理。

摘要由CSDN通过智能技术生成

执行以下hive ql语句：

SELECT 
  sid,  class_id 
FROM
  table2 
GROUP BY sid ;

会报错：FAILED: Error in semantic analysis: Line 1:18 Expression not in GROUP BY key 'class_id'

collect_set( col:any ) 返回一个数组：解释：返回一个去重后的对象集合
collect_list( col:any) 返回一个数组：解释：返回一个不去重的对象集合

使用数字下标，可以直接访问数组中

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

南风知我意丿

关注关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hive sql + left join 数据缺失

02-29

### Hive SQL Left Join 数据缺失问题解析 #### 一、问题背景在大数据处理场景中，Hive 是一种广泛使用的工具，用于对存储在 Hadoop 文件系统中的数据进行数据汇总、查询和分析。随着Hive版本的不断更新，部分用户...

SQL: select非group by的字段

热门推荐

琦彦

07-02

2万+

在含有Group by子句的查询语句中，对select关键字后的目标列是否可总结出一些规律group by 后面的字段列表, 就是按照这些字段分类汇总因此select后面的字段列表, 除了上面的字段外,其余字段必须是聚集表达式.聚集表达式可以求和,求平均值,计数等等否则出错比如:select a,b,avg(c),sum(d) from 表 group by a,bSELECT p.id, p...

参与评论您还未登录，请先登录后发表或查看评论

Hive取非Group by字段数据的方法

蚂蚁学Python

07-31

1640

遇到这么一个需求，输入数据为一个ID对应多个name，要求输出数据为ID是唯一的，name随便取一个就可以。执行以下hive ql语句： SELECT sid, class_id FROM table2 GROUP BY sid ; 123456...

在工作中常用到的SQL

WantFlyDaCheng的博客

08-04

199

前言最近在公司做了几张报表，还记得刚开始要做报表的时候都快把SQL给忘光了，回到公司的第一个需求就是做报表。于是我很不要脸地跟带我的学长说：“SQL我好像忘光了，grou...

Hive 取非 Group by 字段数据的方法

Bingo

05-08

2967

遇到这么一个需求，输入数据为一个ID对应多个name，要求输出数据为ID是唯一的，name随便取一个就可以。执行以下Hive ql语句： 123456SELECT sid, class_id FROM table2 GROUP BY sid ;会报错：

oracle select非group by的字段

weixin_30699443的博客

09-23

518

可以把group by的结果集当作一个表，然后从这里表里取数就可以了。 e.g. SELECT A.PROJECT_CODE,A.DIE_NO,E.ONE_CONSUMING FROM (SELECT T.PROJECT_CODE, T.DIE_NO, SUM(T.OFFLINE_QTY) OFFQTY FROM DATA_PLAN T WHERE T.BEGIN_DATE <= SY...

hive 中的多列进行group by查询方法

东杰书屋

05-18

2万+

在工作中用hive进行数据统计的时候，遇到一个用group by 进行查询的问题，需要统计的字段为 gid,sid,user,roleid,time,status,map_id,num 其中time字段为时间戳形式的，统计要求为将各个字段按照每个小时的num总数进行统计开始的时候写的hive SQL为 select gid,sid,user,roleid,time,status,ma

Hive SQL性能优化

最新发布

02-26

3. **分组和聚合**：GROUP BY对数据进行分组，HAVING子句对分组后的结果进行进一步筛选。 4. **查询数据**：SELECT子句定义查询的具体字段或表达式。 5. **结果展示**：DISTINCT、ORDER BY和LIMIT等用于展示最终查询...

Hive数据仓库之boss直聘平台薪资数据分析

08-14

Hive是建立在Hadoop之上的数据仓库框架，它将SQL-like查询语言（HQL）转换为MapReduce任务，方便数据分析师处理大规模数据。Hive的主要组成部分包括元数据存储、HQL解析器、编译器、优化器以及执行器。元数据存储...

Hive sql系统学习教程

06-24

3. **数据查询语句**: 使用类似SQL的语法进行数据查询，支持SELECT、WHERE、GROUP BY、HAVING等操作，可以进行聚合、过滤、排序等多种数据处理。 4. **数据转换语句**: Hive提供数据清洗、转换和合并等功能，通过...

Hive SQL 常见函数

02-26

### Hive SQL 常见函数详解 #### 一、Case When 条件转换函数 ...以上介绍了 Hive SQL 中常见的几个函数及其应用，这些函数在处理大数据时非常有用，能够帮助我们更高效地进行数据清洗、转换和分析。

group by能够查询的字段

qq_40772429的博客

09-10

2078

分组组名不仅仅是group by的字段，还可以是各种分组字段的标量函数，比如concat（），data_format（），什么都可以，但只能用分组后的字段。这样看应该比较明显，在group by筛选后，字段只有creator与total_premium了，因此select中只能携带这两个字段。只能是这三种的一个或者多个的组合，否则报错。（分组后的每组只会有一行数据，故只能对每组的数据由多到一的转变）准确说上面这段代码，重新根据执行顺序翻译一下应该如下。

sql中不用group by分组进行计总

积跬步，至千里

06-13

1万+

废话不多说，直接上代码 create table test( keyid int identity, sort varchar(10), qty int ) insert into test(qty,sort) values (1,'aa') ,(2,'aa'),(3,'bb'),(8,'cc'),(9,'cc') select * from test 对qty进行...

mysql数据库中允许select后含有非group by中的列

一只苟延残喘的卑微蝼蚁

09-09

1971

mysql数据库中允许select后含有非group by中的列 SELECT bid, bName,price, bTypeId FROM book; /* 以下这条sql语句在mysql数据库中执行不会报错(虽然这样写不会报错，但查询结果没什么意义) MYSQL对 GROUP进行了非ANSI标准的扩展，允许这种select 后含有非 group by 中的列 */ SELECT b...

Sql Server select group by之外的列

穷目楼的博客 - 昨日所记，今日所想，明日所学

02-15

2105

有时候会有通过一个或多个列进行group by操作，然而想要select 的却是 group by 之外的列（也许这些列的值都一样）的需求。一种trick:SELECT * FROM ( SELECT *, row_number () OVER ( partiti

小白学hadoop日记——hive中的小问题

qq_42515611的博客

07-14

163

1、 Hive不允许直接访问非group by字段解决办法（1） -- 对于非group by字段，可以用Hive的collect_set()、collect_list()函数收集这些字段，返回一个数组，collect_set()对元素进行去重操作，collect_list()不对元素去重； -- 使用数字下标，可以直接访问数组中的元素；例如：对于表执行语句select s_id,collect_set(s_score) from score group by s_id;后的结果为： .

MySQL不需要group by的字段查询，避免报错only_full_group_by的方法

无知是恶

08-01

4448

对于不需要聚合的字段有没有办法查询出来呢比如很多人一上来就select * from XXX group by XX;或者加了聚合函数又想查多的字段基本上就会报错对于 GROUP BY 聚合操作，如果在 SELECT 中的列，没有在 GROUP BY 中出现，那么这个 SQL 是不合法的遇到这个问题挺常见的，因为在 MySQL 5.7 版本中，，这也导致很多代码在本地跑得好好的，一上线就报错可以查询一下你的结果可能跟我不一样，比较长，但肯定包含了ONLY_FULL_GROUP_BY吧。

hive 把string类型的字段 group by 前 5个字段

07-22

如果你想对前5个字符串类型的字段进行分组，你可以使用它们的列名并将它们列在GROUP BY子句中。以下是一个示例查询，假设你有一个表名为`表名`，并且前5个字段为`字段1`、`字段2`、`字段3`、`字段4`和`字段5`： ```sql SELECT 字段1, 字段2, 字段3, 字段4, 字段5, COUNT(*) AS 计数 FROM 表名 GROUP BY 字段1, 字段2, 字段3, 字段4, 字段5 ``` 在上述查询中，我们使用每个字段的列名将其列在GROUP BY子句中，并使用COUNT(*)函数计算每个组的记录数，并将其命名为`计数`列。请根据你的实际情况将查询语句中的`表名`和字段名替换为你所使用的表和列名。