MySQL 数据库中删除重复记录的方法总结

最新推荐文章于 2024-02-26 22:21:17 发布
最新推荐文章于 2024-02-26 22:21:17 发布
阅读量999 收藏
点赞数
分类专栏： 数据库 文章标签： mysql 数据库 duplicates warnings query insert

原帖 http://www.codebit.cn/mysql/deleting-duplicate-rows-in-a-mysql-database.html


演示数据

表结构：

1
2
3
4
5
6
7
8
mysql> desc demo;
+ -------+------------------+------+-----+---------+----------------+
| Field | Type             | Null | Key | Default | Extra          |
+ -------+------------------+------+-----+---------+----------------+
| id    | int (11) unsigned | NO   | PRI | NULL    | auto_increment |
| site  | varchar (100)     | NO   | MUL |         |                |
+ -------+------------------+------+-----+---------+----------------+
2 rows in set (0.00 sec)

数据：

1
2
3
4
5
6
7
8
9
10
11
mysql> select * from demo order by id;
+ ----+------------------------+
| id | site                   |
+ ----+------------------------+
|  1 | http://www.CodeBit.cn  |
|  2 | http://YITU.org        |
|  3 | http://www.ShuoWen.org |
|  4 | http://www.CodeBit.cn  |
|  5 | http://www.ShuoWen.org |
+ ----+------------------------+
5 rows in set (0.00 sec)

当没有创建表或创建索引权限的时候，可以用下面的方法：

如果你要删除较旧的重复记录，可以使用下面的语句：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
mysql> delete from a
     -> using demo as a, demo as b
     -> where (a.id > b.id)
     -> and (a.site = b.site);
Query OK, 2 rows affected (0.12 sec)
 
mysql> select * from demo order by id;
+ ----+------------------------+
| id | site                   |
+ ----+------------------------+
|  1 | http://www.CodeBit.cn  |
|  2 | http://YITU.org        |
|  3 | http://www.ShuoWen.org |
+ ----+------------------------+
3 rows in set (0.00 sec)

如果你要删除较新的重复记录，可以使用下面的语句：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
mysql> delete from a
     -> using demo as a, demo as b
     -> where (a.id < b.id)
     -> and (a.site = b.site);
Query OK, 2 rows affected (0.12 sec)
 
mysql> select * from demo order by id;
+ ----+------------------------+
| id | site                   |
+ ----+------------------------+
|  2 | http://YITU.org        |
|  4 | http://www.CodeBit.cn  |
|  5 | http://www.ShuoWen.org |
+ ----+------------------------+
3 rows in set (0.00 sec)

你可以用下面的语句先确认将被删除的重复记录：

1
2
3
4
5
6
7
8
9
10
11
mysql> SELECT a.*
     -> FROM demo a, demo b
     -> WHERE a.id > b.id
     -> AND (a.site = b.site);
+ ----+------------------------+
| id | site                   |
+ ----+------------------------+
|  1 | http://www.CodeBit.cn  |
|  3 | http://www.ShuoWen.org |
+ ----+------------------------+
2 rows in set (0.00 sec)

如果有创建索引的权限，可以用下面的方法：

在表上创建唯一键索引：

1
2
3
4
5
6
7
8
9
10
11
12
13
mysql> alter ignore table demo add unique index ukey (site);
Query OK, 5 rows affected (0.46 sec)
Records: 5  Duplicates: 2  Warnings: 0
 
mysql> select * from demo order by id;
+ ----+------------------------+
| id | site                   |
+ ----+------------------------+
|  1 | http://www.CodeBit.cn  |
|  2 | http://YITU.org        |
|  3 | http://www.ShuoWen.org |
+ ----+------------------------+
3 rows in set (0.00 sec)

重复记录被删除后，如果需要，可以删除索引：

1
2
3
mysql> alter table demo drop index ukey;
Query OK, 3 rows affected (0.37 sec)
Records: 3  Duplicates: 0  Warnings: 0

如果有创建表的权限，可以用下面的方法：

创建一个新表，然后将原表中不重复的数据插入新表：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
mysql> create table demo_new as select * from demo group by site;
Query OK, 3 rows affected (0.19 sec)
Records: 3  Duplicates: 0  Warnings: 0
 
mysql> show tables;
+ ----------------+
| Tables_in_test |
+ ----------------+
| demo           |
| demo_new       |
+ ----------------+
2 rows in set (0.00 sec)
 
mysql> select * from demo order by id;
+ ----+------------------------+
| id | site                   |
+ ----+------------------------+
|  1 | http://www.CodeBit.cn  |
|  2 | http://YITU.org        |
|  3 | http://www.ShuoWen.org |
|  4 | http://www.CodeBit.cn  |
|  5 | http://www.ShuoWen.org |
+ ----+------------------------+
5 rows in set (0.00 sec)
 
mysql> select * from demo_new order by id;
+ ----+------------------------+
| id | site                   |
+ ----+------------------------+
|  1 | http://www.CodeBit.cn  |
|  2 | http://YITU.org        |
|  3 | http://www.ShuoWen.org |
+ ----+------------------------+
3 rows in set (0.00 sec)

然后将原表备份，将新表重命名为当前表：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
mysql> rename table demo to demo_old, demo_new to demo;
Query OK, 0 rows affected (0.04 sec)
 
mysql> show tables;
+ ----------------+
| Tables_in_test |
+ ----------------+
| demo           |
| demo_old       |
+ ----------------+
2 rows in set (0.00 sec)
 
mysql> select * from demo order by id;
+ ----+------------------------+
| id | site                   |
+ ----+------------------------+
|  1 | http://www.CodeBit.cn  |
|  2 | http://YITU.org        |
|  3 | http://www.ShuoWen.org |
+ ----+------------------------+
3 rows in set (0.00 sec)

注意：使用这种方式创建的表会丢失原表的索引信息！

1
2
3
4
5
6
7
8
mysql> desc demo;
+ -------+------------------+------+-----+---------+-------+
| Field | Type             | Null | Key | Default | Extra |
+ -------+------------------+------+-----+---------+-------+
| id    | int (11) unsigned | NO   |     | 0       |       |
| site  | varchar (100)     | NO   |     |         |       |
+ -------+------------------+------+-----+---------+-------+
2 rows in set (0.00 sec)

如果要保持和原表信息一致，你可以使用 show create table demo; 来查看原表的创建语句，然后使用原表的创建语句创建新表，接着使用 insert … select 语句插入数据，再重命名表即可。

当然，如果要避免重复记录，最好的办法还是不要插入重复数据，可以参考本站另外一篇文章：MySQL 当记录不存在时插入（insert if not exists） 。


rainharder
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MySQL数据库中删除重复记录的方法总结[推荐]
12-15
表结构： mysql> desc demo; +——-+——————+——+—–+———+—————-+ | Field | Type | Null | Key | Default | Extra | +——-+——————+——+—–+———+—————-+ | id | int(11) unsigned |...
MySql如何删除所有多余的重复数据
热门推荐
qq_37634156的博客
06-23 1万+
方法一查询出的所有多余的重复记录： 方法二查询出的所有多余的重复记录（与方法一的结果相同）： 方法三查询出的所有多余的重复记录： 这里方法三因为用了MAX()方法（也可改用MIN()），查询结果记录的id不太一样，但也可以被视为重复多余的数据，关键是你希望选择保留哪一条记录而已。...
MySQL删除重复数据
张小凡
03-28 2957
做了一道笔试题，问到: 有一个student(table_id,name,age)的表，有重复name和age数据, 请写出delete重复数据的sql 假如：我们只保留重复数据中, table_id最小的记录 一步一步分析: 首先我们要知道哪些数据是重复的, group by 聚集函数可以帮我找到: SELECT name , count(*) FROM stud...
MySQL重复数据删除处理
学无止境
04-22 4311
处理脏数据的方式一般有两种，一是通过sql处理，二是通过代码处理。对于复杂的脏数据，代码处理是最推荐的，通过代码的逻辑，可以准确地控制不同情况，然后针对性测试。所以大多数情况下，开发会偏向于通过sql方式来修复数据，只需要写一个sql到线上环境跑一下（前提是可以写得出来，哈哈），都不需要上线代码，就可以解决根本性问题。本次针对重复性脏数据情况，根据不同需求场景，来通过sql方式处理脏数据。假定通过uid和gid联合作为唯一判断，那么重复的数据有：[1,2]，[6,7,8]
mysql中去除重复数据，只保留一条。
weixin_75052326的博客
05-18 1万+
梳理一下删除重复记录的逻辑
删除mysql数据库中的重复数据记录
12-15
采用的是下面的方法可删除,假设重复的是test数据库中的title字段 代码如下:create table bak as (select * from test group by title having count(*)=1); insert into bak (select * from test...
MySQL中查询、删除重复记录的方法大全
01-19
本文主要给大家介绍了关于MySQL中查询、删除重复记录的方法，分享出来供大家参考学习，下面来看看详细的介绍： 查找所有重复标题的记录： select title,count(*) as count from user_table group by title having ...
在 MySQL 数据库中删除重复记录的步骤
yangsen99的博客
03-31 3473
在 MySQL 数据库中删除重复记录的步骤 当我们在处理数据库中的数据时，有时候会出现重复记录的情况，这些重复记录会影响数据的正确性，需要将其删除。下面是在 MySQL 数据库中删除重复记录的步骤： 1. 查找重复记录 首先，我们需要找到数据库表中的重复记录。可以使用以下 SQL 语句查询表中所有的重复记录： SELECT column1, column2, COUNT(*) as count ...
Mysql 删除重复数据保留一条有效数据
蕃薯耀的博客
01-31 9774
©Copyright 蕃薯耀 2023-01-31。©Copyright 蕃薯耀 2023-01-31。Mysql 删除重复数据，保留一条有效数据。
关于mysql中如何删除表重复数据
xinyuerr的博客
09-25 923
本文主要介绍了Mysql中如何删除表重复数据问题，具有很好的参考价值，希望对大家有所帮助。
navicat中查重并删除
weixin_30411997的博客
07-08 739
# 查询所有重复的数据 SELECT * FROM hao123 WHERE ir_url IN (SELECT ir_url FROM `hao123` GROUP BY ir_url having count(ir_url)>1) # 只显示某几个字段 提高查询速度SELECT ir_title,ir_url FROM hao123 WHERE ir_url IN(SELEC...
MySql删除表中重复数据
夜の雨的博客
10-25 2958
有一表中存在大量重复数据 在此记录下我删除表内重复数据的方法以下以单个字段不能重复测试。
mysql 重复数据的处理 查询 删除 select delete【通用】【全网最详细】
global_coding的博客
09-06 760
mysql 重复数据的处理 查询 删除 select delete
MySQL重复数据清理
Pompey_wp的博客
09-04 189
实际工作中，我们经常会遇到一些特殊情况导致数据double，这个时候去清理起来会很麻烦，记录一下重复数据处理的全过程吧，希望对你们有帮助。最近带着一个实习生，每天都被弄得很烦，就在这里多唠叨两句，希望大家活学活用，不说太宽泛吧，至少作为一个开发者，你的思维永远不要被局限，要灵活，更多的时候我们是要去学习思维模式，学的是一种思想，而不是死记硬背代码块，代码是多变的，但思想学到了才是真的学到了哦。本文中的数据清理步骤大致如下：1：找到重复的数据2：取出重复数据的数据行所有字段值。
MySQL｜删除mysql数据表内的重复数据记录
最新发布
weixin_44435110的博客
02-26 501
删除数据表内重复数据的常规顺序是：创建备份、确定重复记录、编写删除语句
[笔记]MySQL 删除重复数据
Garbage Collector
10-24 4237
MySQL 删除重复行
Mysql删除表重复数据
BeastCool的博客
02-02 2867
mysql删除重复数据
MySql删除重复数据并保留一条
向Stack Overflow的大牛学习，编写文章尽量详细。
08-17 2909
介绍一种删除mysql表中重复记录的方法。
mysql 数据库 重复数据删除
05-19
可以通过以下 SQL 语句来删除 MySQL 数据库中的重复数据： ``` DELETE FROM table_name WHERE column_name NOT IN ( SELECT MIN(column_name) FROM table_name GROUP BY duplicate_column_name ); ``` 上述 SQL...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值