qq_57303025的博客

原创 pgsql最优去重方案

可以看到，id相同的数据，保留ctid最小的，其他的删除。相当于把deltest表中的数据删掉一半，耗时达到67s多。可以看到同样是删除一半的数据，使用group by的方式，时间节省了一半。最容易想到的方法就是判断数据是否重复，对于重复的数据只保留ctid最小（或最大）的数据，删除其他的。group by方法通过分组找到ctid最小的数据，然后删除其他数据。测试环境验证，6600万行大表，删除2200万重复数据仅需3分钟。首先创建一张基础表，并插入一定量的重复数据。二、 PG中三种删除重复数据方法。