PgSQL删除两条重复一模一样的数据解决方案

最新推荐文章于 2024-07-07 07:41:56 发布

菜鸟吉吉

最新推荐文章于 2024-07-07 07:41:56 发布

阅读量5.1k

点赞数 2

分类专栏： Mysql Oracle 文章标签： postgresql 数据库

本文链接：https://blog.csdn.net/qq_42696265/article/details/125868169

版权

Mysql 同时被 2 个专栏收录

2 篇文章 0 订阅

订阅专栏

Oracle

2 篇文章 0 订阅

订阅专栏

本文介绍了两种在PostgreSQL数据库中去除重复数据的方法：一种是通过创建临时表并利用ROW_NUMBER函数，另一种是直接使用ctid进行删除。这两种方案分别适用于不同数据量的情况，并在操作完成后验证了数据的正确性。同时，涉及到了数据迁移的过程，包括从备份表复制到目标表。

摘要由CSDN通过智能技术生成

1. 方案一（复制表）

—根据rowId复制去掉重复后的数据到备份表

select * into cm_device_ip_idc_temp1 from (SELECT * FROM (
	SELECT ROW_NUMBER() OVER (PARTITION BY uuid,zh_label ORDER BY (SELECT 1)) AS rid,*	
	FROM cm_device_ip_idc_llx_0719) cte WHERE cte.rid != 2) t

—查询相关数量

SELECT count(*) FROM cm_device_ip_idc_temp1

—删除目标表

DROP  TABLE cm_device_ip_idc_llx_0719

–将备份表的数据复制到目标表

select * into cm_device_ip_idc_llx_0719  from cm_device_ip_idc_temp1

–查询备份表

SELECT * FROM cm_device_ip_idc_llx_0719

2. 方案二（根据pgsql库中自带的编号ctid）https://www.cnblogs.com/lottu/p/5613098.html

— 去重（数据量比较小的情况）：我们知道rowid在oracle有个重要的作用；被用作表记录去重；同理 ctid在postgresql里面同样可以使用。
现在演示下；
delete from cm_device_ip_idc_llx_071901 where ctid not in (select min(ctid) from cm_device_ip_idc_llx_071901 group by uuid);

— 去重（数据量大的情况）：我们知道rowid在oracle有个重要的作用；被用作表记录去重；同理 ctid在postgresql里面同样可以使用。
现在演示下；【查出需要删除的重复数据，重复数据不会特别多；比较上述的数据量大就会出现问题；再者下面sql走索引】
delete from cm_device_ip_idc where ctid in (select min(ctid) from cm_device_ip_idc group by uuid HAVING count(1) > 1);

—查询对应的数量是否正确
SELECT count(*) FROM cm_device_ip_idc_llx_071901