left join陷阱之一对多导致数据量增加

最新推荐文章于 2024-07-26 13:10:35 发布
最新推荐文章于 2024-07-26 13:10:35 发布
阅读量6.9w 收藏 37
点赞数 14
文章标签： SQL left join陷阱 一对多导致数据量增加
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ariczhou/article/details/22204427
版权




从上面2张图可以看出，本来我们是想用一些left join来匹配出我们需要的信息

但却因此使得我们的统计数据量增大了  为什么呢？






这个就是原因了 ，我们关联的一张表有1：n的情况





为了演示清楚和证明，请看下面：




Aric红尘醉
关注
leftjoin/innerjoin以后数据条数比原数据表多的原因及解决办法
Yann_YU的博客
07-09 2万+
举例 A 表（1500行）是用户id和对应年龄，B 表（5000行）是用户id 和对应的爱好（如果有多个爱好就会出现多行数据），现在想通过用户id来链接这两张表，使用 left join（A，B）或者 inner join 结果连完发现生成了一张 3000行的表C（但理论上行数应该小于等于表 A） 问题原因 在 R 中发生这种问题，很大原因是两张表拿来连接的字段（比如用户id），在第二张表里面出现了多次，或者在第一张表里也有重复只 在 SQL 中发生这种问题，还有一种可能性是因为表 B 行数比表 A 多，所
Spark Sql Left Join(多对多)导致的数据膨胀问题和解决
lilyjoke的专栏
03-03 5769
问题：大表left join小表，小表有10万条，大概就10M大小。大表有30多亿条，对应分区下有40个HDFS文件，简单的一个left join，跑了几个小时跑不出结果。 INSERT OVERWRITE TABLE 结果表 PARTITION(dt='20220302') select vertice,types,nvl(dstgid,groupid) as gid from ( select vertice,groupid,types from
深入理解SQL中的INNER JOIN操作
最新发布
踏雨歌青春，诗酒趁年华
07-26 1万+
本文介绍了INNER JOIN的定义、使用场景、计算方法及与其他JOIN的比较。INNER JOIN是关系数据库中常用的操作，用于返回两个表中匹配的行，只有在连接条件满足时才返回数据。本文详细解释了INNER JOIN的语法及其在一对多、多对多关系中的应用，通过示例展示其结果集行数的计算方法。此外，文中还比较了INNER JOIN与LEFT JOIN、RIGHT JOIN、FULL JOIN和CROSS JOIN的异同，帮助读者理解不同类型的JOIN在实际查询中的应用场景。通过本文，读者能够掌握INNER
Left join 会增多数据记录条数的处理方案（SQL SERVER)
程序员与注册会计师
03-06 9387
Left join 会增多数据记录条数的处理方案 A表，左连结到B表，如果B表中关联关键字不唯一时，A表的会增加记录条数，也就是B中关联关键字重复的行数（设为N），会在A表中有该关联关键字的记录会重复（N次）。 有两种解决方案 ======第一方案 if not ViewExists(QryList.Connection, '收付款x') then begin STR := 'create view 收付款x as '; STR := str + ' SEL...
Left join中查询结果比左表数据量多
lq_feixiangdelanqiu的博客
11-11 1万+
问题： 在left join 的时候会出现查询结果比左表数据多的问题 原因： 应为左表的一个值，对应右表中一个以上的值，sql无法分辨，只能将所有匹配上的都现实在结果中 例： a_table 表 Id Name 1 huhu 2 lili 3 wuwu b_table表 Id ...
leftjoin多了性能下降_Sql 中 left join 的底层原理
weixin_39641876的博客
11-28 784
01.前言写过或者学过 Sql 的人应该都知道 left join，知道 left join 的实现的效果，就是保留左表的全部信息，然后把右表往左表上拼接，如果拼不上就是 null。除了 left join以外，还有inner join、outer join、right join，这些不同的 join 能达到的什么样的效果，大家应该都了解了，如果不了解的可以看看网上的帖子或者随便一本 Sql 书都...
8种最坑的SQL错误用法，第一个就很坑？
Java后端技术
11-21 376
点击上方“Java后端技术”，选择“置顶或者星标”你关注的就是我关心的！作者：程序员追风链接：https://juejin.im/post/5dd15451e51d453b3d3d4329上一篇：1、LIMIT 语句分页查询是最常用的场景之一，但也通常也是最容易出问题的地方。比如对于下面简单的语句，一般 DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样...
MySQL联表查询基本操作之left-join常见的坑
09-08
在大数据量下，JOIN操作可能导致显著的性能下降，尤其是当连接条件不是索引时。解决这种问题的方法包括优化查询语句、创建合适的索引以及使用临时表或子查询。 另一个问题是结果的不准确性。LEFT JOIN会保留所有左...
多表查询技巧：掌握JOIN操作实践
每个表由多个列组成，每一列代表一种数据类型。不同表之间通过主键和外键建立关系，实现数据的关联和查询。 ## 1.3 SQL语言简介与常用查询语句 SQL（Structured Query Language）是用于管理关系型数据库的标准语言...
【列表合并技巧】：合并多个列表的最佳实践与陷阱规避
在数据处理和分析的世界里，列表合并是一项基础而核心的操作。无论是进行数据统计、机器学习还是简单的信息整合，有效的列表合并策略都显得至关重要。本章将提供一个概览，介绍列表合并的基本概念、目的和重要性，为...
大规模机器学习算法之Battle Royale: 对比与评估
程序员光剑
01-02 419
随着数据规模的不断增长，机器学习算法的复杂性也随之增加。大规模机器学习（Large-scale machine learning）是指在大量数据和高维特征空间中学习模型的过程。这种学习方法需要处理的数据量和计算复杂度远超传统机器学习算法。
七周成为数据分析师--5 SQL
qiuqiu1027的博客
04-09 328
1. SQL最小化的查询结构 select column from table table是表名，column是想要查询的字段／列，column可以用 * 代替，指代全部字段，意为从table表查询所有数据。 2. where 是基础查询语法，用于条件判断。 select * from DataAnalyst where city = ‘上海’ 是最简化的查询语句，将所有城市为上海的职位数据...
Postgresql left join左连接后数据变多去重记录（当左表1对多右表时）
qq_40985985的博客
03-10 3789
Postgresql left join左连接后数据变多去重记录（当左表1对多右表时）
一个关于sql left jion sum汇总数据重复汇总数量变多的问题
到底要什么姿态，才不会显得我在使坏。
11-23 1042
假设我们有四张表，他们的关系是A->B->C->D，而依次往下推每个环节都存在一对多的关系，表的关联都是以上一个表的id做关联，假设每个表都有对应的一个数量和物料字段，这样在我们想以a表为主left jion去汇总各个表的数量时会出现这样一种情况，那就是可能出现A汇总的数量重复也就导致A表的数量变多。至此，问题解决，所以我们遇到问题，不要只以一贯的思维去思考，当我们被常用思维卡住时，不妨试着反方向去思考问题，或许问题就能迎刃而解。
LEFT JOIN 查询多了数据
Zero_uou的博客
06-13 7849
LEFT JOIN 的是以左边表为根据查询，要注意右边表与左边表on的字段一定要是唯一的，不然查询出来的条数，就一定比左边表多
左外连接、右外连接查询，数据反而变多
fish441的博客
05-19 6088
某公司数据库查出数据变多，但是在公司内的本地环境和测试环境都测试没有问题。后来检查发现是因为左外连接的问题。A表数据与B表数据为一对多的关系。如： SELECT * FROM tableA left join tableB on A.ID=B.ID A表结构为： B表结构为： 左外连接查询后为： 对于这种情况，应该先对外连接的表的对象进行分析，看看是不是一对多，如果是的话应该先对右表进行去重。 可以用group by 这样结果就没错了 ...
left join连接查询，结果条数比左表多
cyyyou_的博客
12-19 1275
left join
left join 会增多数据条数的(比左边表数据多了)
xuehuagongzi000的博客
05-20 1万+
1、 insert overwrite table t_xiaoming_test_for_dau values("1",6,"2.7.1"),("1",3,"2.7.1"),("1",6,"2.7.2"),("2",6,"2.7.2"); insert overwrite table t_xiaoming_test_for_newUser values("1",6,"2.7.1"),("2"...
left join 时数据反而会比左边表数据条数多
热门推荐
yangfan_sh的博客
08-24 3万+
左表字段：右表字段=1：多时，左连接数据就会多于想要查找的数据，用group by解决  
inner join 和join 区别
07-24
内连接（`INNER JOIN`）和 `JOIN` 关键字都是用于执行数据库表格之间的关联操作。它们实际上在功能上是相同的，在大多数 SQL 实现中，当你仅使用 `JOIN` 而不指定类型时，默认会执行内连接。 ### `INNER JOIN` 的特性： **主要特点**：`INNER JOIN` 返回两个表之间具有匹配记录的结果集，只包含两表共同部分的数据。它基于匹配的列来联接两个表，并仅返回这两个表中都存在的记录。 **语法示例**： 假设我们有两个表 `Orders` 和 `Customers`，每个表都有一个 `CustomerID` 列。我们想要查询那些下过订单并且是已知客户的记录： ```sql SELECT Orders.OrderID, Customers.CustomerName FROM Orders INNER JOIN Customers ON Orders.CustomerID = Customers.CustomerID; ``` 在这个例子中，结果只包含 `Orders` 表和 `Customers` 表中 `CustomerID` 相同的记录。 ### `JOIN` 的使用方式与 `INNER JOIN` 类似： 在许多情况下，你可以省略 `INNER` 并使用 `JOIN` 来实现相同的功能： ```sql SELECT Orders.OrderID, Customers.CustomerName FROM Orders JOIN Customers ON Orders.CustomerID = Customers.CustomerID; ``` 这种简化的方式并不会改变查询的含义或结果，只是语法上的差异。 ### 总结： 尽管 `JOIN` 和 `INNER JOIN` 在功能上相似，但明确使用 `INNER JOIN` 可以避免误解或混淆，特别是在涉及到其他类型的连接（如 `LEFT JOIN`, `RIGHT JOIN`, `FULL JOIN`）时。在编写 SQL 查询时选择更具体的连接类型可以增加代码的可读性和意图的清晰度。 ---
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值