MySQL 联表查询重复数据并删除(子查询删除记录) SQL优化

1、业务逻辑及表介绍

数据库表介绍:
table_a:主表(小表,表数据不可重复)
table_b:流水表(大表,记录审核流水数据)
注:两表表结构大致一致,流水表增加一个审核状态的字段

业务逻辑:
主表保存唯一数据,流水表记录审核流水数据,用于后续展示,并在审核成功后插入主表,在插入流水数据时完成重复数据的覆盖。覆盖逻辑为先删后加,也就是在这里,出现了联表删除慢的问题。

2、优化思路

原联表删除SQL语句 :
delete from table_a where id in (SELECT id FROM table_b );

优化后的联表删除SQL语句(懒得继续看的,到这即可) :
delete from table_a where exists (SELECT t.id from (select a.id from table_a a,table_b b where a.id=b.id) t where a.id=table_a.id);

3、优化原理:

本次优化总结讲是将in ==》exists

a、那一定是exists比in语句的效率高吗?

mysql中的 in 语句是把外表和内表作hash 连接,而exists语句是对外表作loop循环,每次loop循环再对内表进行查询。所以可见,这种说法其实是不准确的。实际是要区分环境的:

  1. 如果查询的两个表大小相当,那么用in和exists差别不大。
  2. 如果两个表中一个较小,一个是大表,则子查询表大的用exists,子查询表小的用in。
  3. 此外,in与exists的索引使用情况为:in 前表索引,exists 后表索引,用上索引的快。

b、not in 和not exists的比较:

  1. not in 和not exists如果查询语句使用了not in 那么内外表都进行全表扫描,没有用到索引;
  2. not extsts 的子查询依然能用到表上的索引。

结论: 无论哪个表大,用not exists都比not in要快

c、in 与 = 的区别不大

验证过程略…(感兴趣的话自行验证哈(o-))

4、记录一个优化过程中遇到的问题

sql: delete from table_a where exists (select a.idfrom table_a a,table_b b where a.id=b.id);
报错: You can’t specify target table ‘table_a’ for update in FROM clause(不能在FROM子句中为更新指定目标表)
解决方法: mysql 可以通过子查询得到要删除的记录条件,然后通过子查询得结果匹配要删除的记录。但是 mysql 不能直接删除子查询表中的数据,必须通过一个临时表来解决。

  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
要在MySQL删除中的重复数据,可以按照以下步骤进行操作: 1. 创建一个临时,与原始具有相同的结构。 2. 使用SELECT语句从原始查询出需要更新的数据,并将其插入到临时中。可以使用GROUP BY和HAVING句来识别重复记录。 3. 删除原始中与临时中的重复记录相对应的行。可以使用DELETE语句和查询来实现这一步骤。 4. 最后,您可以选择删除临时。 下面是一个示例SQL语句,用于在MySQL删除中的重复数据: ``` -- 新增测试 CREATE TABLE basic_farmer ( id INT(11), user_name VARCHAR(25), id_card INT(11) ); -- 删除重复数据 DELETE FROM basic_farmer WHERE id IN ( SELECT id FROM ( SELECT a.id FROM basic_farmer a LEFT JOIN ( SELECT id_card, MIN(id) id FROM basic_farmer GROUP BY id_card HAVING COUNT(id_card) > 1 ) b ON a.id_card = b.id_card WHERE a.id != b.id ) AS tt ); ``` 请注意,上述SQL语句中的名和字段名需要根据实际情况进行调整,以适应您的数据库结构。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [MySQL查询删除重复记录的方法大全](https://blog.csdn.net/doublepg13/article/details/127613922)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [MySql删除重复数据](https://blog.csdn.net/weixin_56567361/article/details/127494879)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值