开发实践中发现group by去重不生效

最新推荐文章于 2023-07-17 15:15:44 发布
最新推荐文章于 2023-07-17 15:15:44 发布
阅读量1.3k 收藏
点赞数
分类专栏： 大数据 # Hadoop生态 文章标签： sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yezonghui/article/details/128222908
版权

背景：在一次开发中，使用了group by多个字段，但是发现group by不生效，起不到作用

目标：找到group by失败的原因，并进行总结

动作1：在不生效的group by的外层再加一层group by，结果发现group by还是不起作用，很多重复数据。

排查2:发现group by的字段中有一个“年龄”的字段，这个字段在上游是double类型，但是在我目标表里面是bigint类型

动作2:使用cast把double类型（存在23.1，23.555，23.34565这种记录）转换为bigint类型再进行分组.

结果：解决问题，group by之后没有重复记录了。

反思：1）要坚信group by是可以去重的，不要怀疑人生，怀疑自己

           2）学会排查，一层一层从里面向外面排查，看数据是从什么地方开始不对劲的；

           3）要学会从明细数据，一层一层去反推，要沉着冷静

斑马！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C#在LINQ中使用GroupBy
08-18
C#在LINQ中使用GroupBy C#中的语言集成查询（Language Integrated Query，LINQ）是一个强大的查询语言，可以对数据进行筛选、排序、分组等操作。在LINQ中，GroupBy是一个非常重要的操作，它可以将数据分组，以便更...
SQL｜where, group by, order by去重实例之如何正确使用group by
爱玩的安哥
09-30 1951
标题 SQL｜where, group by, order by去重实例之如何正确使用group by 需求 找出最近练习过的句子id，不能重复（练习保存在practice表中，句子保存在pth_sentences表中，一个pth_sentence纪录有多条practices纪录）。现在的情况是如果一个句子练习多次，会得到重复的pth_sentence_id，这样前端在列出来的时候呢，句子是重复的，我只想让句子显示一次，既pth_sentence_id只出现一次。 Practices的表结构是这样的： C
sql中的去重与group by的理解
weixin_52110757的博客
10-31 3497
无
解决MySQL的group by分组失效问题
yhc_817的博客
05-11 3794
我的MySQL版本是8.0.28； 1、通过下方SQL语句查询： SELECT @@sql_mode; 2、查看是否存在 `ONLY_FULL_GROUP_BY`字段？ ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION 3、如果存在上方字段，使用下方SQL语句： set sql_mode ='STRICT.
解决 SQL 子查询 group by去重 索引失效 的一种思路
ongyanjin的博客
03-29 2765
子查询和索引一直是性能优化的常客 查询简单的时候还好办，拿掉子查询，先join再group by聚合 碰到复杂的查询，里外查询维度不统一，还牵扯到别的计算指标，有点难搞 用临时表是可行的，写过程，创建临时表，加索引，删掉临时表。 这里提供另一种思路： 如果where子句的过滤条件和子查询有关，多写一遍过滤条件就可以避免全表扫描了。 项目中实际遇到的情况 背景：优化某个sql的查询性能 版本：mysql 5.7 通过查询计划可以看到之前的查询好几张表都是全扫了一遍，小表还无所谓，最后一行
hana语法中使用group by报错:SAP DBTech JDBC:[227] :not a GROUP BY expression：‘XXX’must be in group by clause
m0_46506271的博客
01-08 502
在使用group by 时，有一个规则需要遵守，即出现在select列表中的字段，如果没有在组函数中，那么必须出现在group by 子句中。（select中的字段不可以单独出现，必须出现在group语句中或者在组函数中。
distinct与group by 去重
weixin_44792849的博客
12-25 5127
distinct简单来说就是用来去重的，而group by的设计目的则是用来聚合统计。单纯的去重操作使用distinct，速度是快于group by的。distinct 是针对要查询的全部字段去重，而 group by 可以针对要查询的全部字段中的部分字段去重，它的作用主要是：获取数据表中以分组字段为依据的其他统计数据。两者执行方式不同，distinct主要是对数据两两进行比较，需要遍历整个表。
Mysql中distinct与group by的去重方面的区别
12-14
在MySQL数据库中，`DISTINCT` 和 `GROUP BY` 是两个非常重要的SQL关键字，它们都可以用来处理数据的去重问题，但在实际应用中，两者的使用场景和效果有所差异。 首先，`DISTINCT` 关键字的主要作用是去除查询结果中...
MySQL去重该使用distinct还是group by？
09-08
主要介绍了MySQL去重该使用distinct还是group by,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
mysql不支持group by的解决方法小结
09-08
MySQL中的`GROUP BY`语句用于对数据进行分组，并且通常与聚合函数（如`COUNT`, `SUM`, `AVG`, `MAX`, `MIN`）一起使用，以计算每个分组的汇总信息。然而，在MySQL 5.7.x及更高版本中，默认启用了一个名为`ONLY_FULL_...
PGSQL报警表去重取最新，但是描述字段不去重
xcagy-国际性的文档记录中心
07-17 121
PGSQL报警表去重取最新，比max(时间) order by靠谱。--这是一种终极解决办法。
今天遇到的MySql用Group by去重遇到错误《MySQL-this is incompatible with sql_mode=only_full_group_by》记录一下
浮生未歇的博客
11-29 473
借用了这个大牛的分析 https://blog.csdn.net/qq_42175986/article/details/82384160 一、原理层面 这个错误发生在mysql 5.7 版本及以上版本会出现的问题： mysql 5.7版本默认的sql配置是:sql_mode="ONLY_FULL_GROUP_BY"，这个配置严格执行了"S...
mysql5.7的group by失效解决方案
Mr_Runner的博客
06-29 3049
1.问题说明 SQL语句中含有临时表且临时表中含有filesort操作（eg:order by），进而对临时表进行分组（group by）会导致分组后的结果不是预想的结果。 2 SQL分析 一张t_user表，查询出en_name和hobby相同的最近一条数据； 2.1 错误代码示例 2.1.1 错误SQL语句 select * from ( select tu.id, tu.name, tu.en_name, tu.sex , t...
随笔2：R语言group_by函数不能用/失效
ForvaluesMyself的博客
11-09 5347
group_by函数是tidyverse包里的一个用于分组摘要分析的函数，如果使用中发现无效的情形，多半是和基础包里的plyr包冲突了，这些需要暂时detach一下，解除和基础包的关联。 library(tidyverse) detach('package:plyr') #形成绝对值变量 Data_for_Grey_Correla$ABS <- abs(Data_for_Grey_Correla$Innovation_Index-Data_for_Grey_Correla$Genius_Index
mysql group by失效
Abigail_G的博客
12-24 785
mysql
Hive中GROUP BY的坑
谁谓荼苦，其甘如荠
04-25 4668
最近在学习一些hive SQL的东西。之前本以为自己有还算可以的SQL底子，用起来HQL是很轻松的，但真正上手才发现，坑真的很多。 首先，就得说说hive中GROUP BY这个坑： 坑1 Hive的GROUP BY是不能识别别名的 select search_words, sum(order_cnt) over(PARTITION BY search_words ORDER BY price) AS whole_order_cnt, sum(is_drawback) FROM xxx.table
group by语句查询如何确保保留重复数据
舒一笑的博客
05-24 1628
然后，使用INNER JOIN将原始表和临时表连接起来，根据customer_id和order_id进行匹配，返回具有重复数据的行。这个查询首先在子查询中使用GROUP BY来找出重复的customer_id和order_id组合，然后在外层查询中使用IN子句来选择包含这些组合的行。举个例子来说，假设我们有一个名为"orders"的表，包含订单信息，其中每个订单有一个唯一的订单ID。请注意，DROP TABLE语句将立即删除表及其所有数据，因此在执行此语句之前，请确保您不再需要该临时表的数据。
HIVE 不支持group by 别名
weixin_30474613的博客
01-21 1197
hive不支持group by 别名，如果需要group by 别名的情况，可以使用 别名的 值作为group by 的值 转载于:https://www.cnblogs.com/0xcafedaddy/p/8324346.html
hive group报错
我的博客
11-12 274
开发时假如有如下情景的需求，需要按id分组，但是每个id的经纬度都是一样的，如果HiveQL语句这么写： SELECT id, latitude, longitude FROM t_poi GROUP BY id ; 则会报错： FAILED: Error in semantic analysis: Line 2:3 Expression not in GROUP BY ke...
groupby 不去重
最新发布
07-27
你可以使用 `groupby` 函数来进行分组操作，而不去重。在 `pandas` 库中，`groupby` 函数可以用来根据指定的列对数据进行分组。默认情况下，`groupby` 函数会对分组后的数据进行聚合操作，并且会自动去重。但是，你可以通过设置 `as_index=False` 参数来禁止自动去重。这样做可以保留每个分组中的重复值。以下是一个示例代码： ```python import pandas as pd # 创建一个DataFrame data = {'A': [1, 1, 2, 2, 3, 3], 'B': [4, 5, 6, 6, 7, 8]} df = pd.DataFrame(data) # 对列'A'进行分组，不去重 grouped = df.groupby('A', as_index=False) # 打印每个分组的内容 for key, group in grouped: print(f"Group {key}:") print(group) print() ``` 这段代码会将 DataFrame 按列'A'的值进行分组，并保留每个分组中的重复值。你可以根据自己的需求对每个分组进行进一步的操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值