oracle 删除重复记录的高效方法 && mysql 删除重复记录方法

最新推荐文章于 2021-01-19 08:45:46 发布

xdw1626

最新推荐文章于 2021-01-19 08:45:46 发布

阅读量138

点赞数

分类专栏：数据仓库相关文章标签： MySQL Oracle 数据结构 Blog

本文链接：https://blog.csdn.net/xdw1626/article/details/83360145

版权

数据仓库相关专栏收录该内容

32 篇文章 0 订阅

订阅专栏

一、 http://hi.baidu.com/riverlover/blog/item/04a1cabf90ef5d0d18d81f14.html

oracle 删除重复记录的高效方法 && mysql 删除重复记录方法

2009年02月12日星期四 16:45

　　COL1中有重复记录(COL1,COL2为主键),如何删除
　　
　　1、有少数重复记录(在col1,col2上有索引比较好)
　　
　　DELETE T
　　WHERE (COL1,COL2) IN
　　(SELECT COL1,COL2 FROM T GROUP BY COL1,COL2 HAVING COUNT(*) > 1)
　　AND
　　ROWID NOT IN
　　(SELECT MIN(ROWID) FROM T GROUP BY COL1,COL2 HAVING COUNT(*) > 1)
　　
　　2、大部份记录有重复记录
　　
　　DELETE T WHERE ROWID NOT IN
　　(SELECT MIN(ROWID) FROM T GROUP BY COL1,COL2)
　　
　　3、其他写法
　　
　　DELETE T WHERE ROWID IN
　　(SELECT A.ROWID FROM T A,T B
　　WHERE A.COL1=B.COL1 AND A.COL2 = B.COL2 AND A.ROWID > B.ROWID)
　　
　　######################################
　　
　　10. 删除重复记录
　　
　　最高效的删除重复记录方法 ( 因为使用了ROWID)
　　
　　DELETE FROM EMP E
　　
　　WHERE E.ROWID > (SELECT MIN(X.ROWID)
　　
　　FROM EMP X
　　
　　WHERE X.EMP_NO = E.EMP_NO);
　　
　　11. 用TRUNCATE替代DELETE
　　
　　当删除表中的记录时,在通常情况下, 回滚段(rollback segments ) 用来存放可以被恢复的信息. 如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态(准确地说是
　　
　　恢复到执行删除命令之前的状况)
　　
　　而当运用TRUNCATE时, 回滚段不再存放任何可被恢复的信息.当命令运行后,数据不能被恢复.因此很少的资源被调用,执行时间也会很短.
　　
　　(译者按: TRUNCATE只在删除全表适用,TRUNCATE是DDL不是DML)
　　
　　12. 尽量多使用COMMIT
　　
　　只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为COMMIT所释放的资源而减少:
　　
　　COMMIT所释放的资源:
　　
　　a. 回滚段上用于恢复数据的信息.
　　
　　b. 被程序语句获得的锁
　　
　　c. redo log buffer 中的空间
　　
　　d. ORACLE为管理上述3种资源中的内部花费

mysql 删除重复记录

如果数据库的设计不规范，某个表没有主健，那么肯定会有重复记录的现象，或者存在这种危险。在oracle中，可以通过rowid来删除重复记录，而mysql如何实现呢：
1、准备基表test，待测试。
create table test (c1 smallint,c2 smallint);
insert into test values(1,1);
insert into test values(1,1);
insert into test values(1,2);
insert into test values(2,2);
insert into test values(2,2);
2、创建一个临时表，结构与原表一致，但没有数据。
create table tmp as select * from test where 1=2;
3、将原表数据插入临时表，重复记录合为一条记录。
insert into tmp select distinct * from test;
4、查看一下基表和临时表的数据。
mysql> select * from test;
+------+------+
| c1 | c2 |
+------+------+
| 1 | 1 |
| 1 | 1 |
| 1 | 2 |
| 2 | 2 |
| 2 | 2 |
+------+------+
5 rows in set (0.00 sec)
mysql> select * from tmp;
+------+------+
| c1 | c2 |
+------+------+
| 1 | 1 |
| 1 | 2 |
| 2 | 2 |
+------+------+
3 rows in set (0.00 sec)
5、删除基表数据
mysql> delete from test;
Query OK, 5 rows affected (0.02 sec)
6、将临时表数据插回基表
mysql> insert into test select * from tmp;
Query OK, 3 rows affected (0.03 sec)
Records: 3 Duplicates: 0 Warnings: 0
7、查看一下基表的数据
mysql> select * from test;
+------+------+
| c1 | c2 |
+------+------+
| 1 | 1 |
| 1 | 2 |
| 2 | 2 |
+------+------+
3 rows in set (0.00 sec)
8、数据准确，完成基表重复记录的删除。
方法二：
INSERT INTO "tables1" SELECT name,id FROM "tables" GROUP BY name
借用一个中间表~ 把不复的数据先复制到中间表，再将原表删除，并且将中间表修名成现有表~ 不过INSERT INTO 表 SELECT 这种语法适合mysql4.0以上版本
方法三：（本人经常使用的，特别表大的情况，此法算是效率比较高的了）
新建一个临时表
create table tmp as select * from youtable group by name
删除原来的表
drop table youtable
重命名表
alter table tmp rename youtable