数据库去重语句整理

示例数据

Test表中有id和name两个字段，id各不相同，name有重复。
现在需要去除重复的数据，只保留重复的里面id最大的数据。

一、去重语句一(通用型)：
SELECT * FROM test c
where c.id in(
SELECT b.id from test a,test b
where a.name =b.name
and a.id > b.id
)
查询结果：下方是查询出的重复的数据，只需要将select改为delete即可删除他们。
a.id>b.id这个条件是为了实现保留id最大的数据，当然，将>改为<则最终保留的是id最小的数据。

原理分析：

括号内的语句：
SELECT b.id from test a,test b
where a.name =b.name
and a.id > b.id

连表查询之后的结果：

结果：
1、无
2、 1 a
3、1 a/2 a
4、无

二、greenplum去重语句

此方法适合重复数据连id都一样的情况，完全重复。
现在的mpp数据库都是AO表，所以id不能作为主键，是可以重复的。

语句：DELETE FROM test
WHERE
( gp_segment_id, ctid ) NOT IN ( SELECT gp_segment_id, min( ctid ) FROM test GROUP BY id, gp_segment_id );

三、Oracle删除表中name相同的数据
Delete from table1 a
Where rowid !=(select max(rowid)
From table1 b
Where a.name1 = b.name1)

三、mysql设置了only_full_group_by

SELECT * FROM TABLE WHERE ID IN (SELECT MAX(ID) FROM TABLE GROUP BY [去除重复的字段名列表,…])
查询结果：

这个语句需要进行取反操作。

备注：删除数据时，请先备份。