前言 作为开发人员,我们经常遇到必须处理数据库相关内容的情况; 通常,当客户端以excel工作表的形式向您发送其数据,并且在经过一些excel操作后将数据推送到数据库表时,便完成了该操作前言 作为开发人员,我们经常遇到必须处理数据库相关内容的情况; 通常,当客户端以excel工作表的形式向您发送其数据,并且在经过一些excel操作后将数据推送到数据库表时,便完成了该操作。 我也这么干过多次。 这种方法面临的一个非常普遍的问题是,它有时可能会导致重复行,因为发送的数据,主要来自人力资源和财务等部门,而人们对数据标准化技术并不充分的了解[:-)]。 本教程主要讲解怎么使用sql将某些重复字段的行删除,并且不使用临时表的方式。该方法测试过MySQL,sql server理论其他关系数据库通用的。实际案例我将使用Employee表,其中的列名称为id, name, department and email。以下是用于生成测试数据的SQL脚本: Create schema TestDB;
CREATE TABLE EMPLOYEE
(
ID INT,
NAME Varchar(100),
DEPARTMENT INT,
EMAIL Varchar(100)
);
INSERT INTO EMPLOYEE VALUES (1,'Anish',101,'anish@leftso.com');
INSERT INTO EMPLOYEE VALUES (2,'Lokesh',102,'lokesh@leftso.com');
INSERT INTO EMPLOYEE VALUES (3,'Rakesh',103,'rakesh@leftso.com');
INSERT INTO EMPLOYEE VALUES (4,'Yogesh',104,'yogesh@leftso.com');
-- 下面的是重复数据
INSERT INTO EMPLOYEE VALUES (5,'Anish',101,'anish@leftso.com');
INSERT INTO EMPLOYEE VALUES (6,'Lokesh',102,'lokesh@leftso.com'); 查询表,数据如下图所示:重复数据SQL删除解决办法DELETE e1 FROM EMPLOYEE e1, EMPLOYEE e2 WHERE e1.name = e2.name AND e1.id > e2.id;执行结果如下图:上面的sql查询将删除name字段重复的行,只有name唯一且ID字段最低的那些唯一行将被保留。 例如,ID为5和6的行将被删除,而ID为1和2的行将被保留。处理后查询结果如下图:如果要保留具有最新生成的ID值的行,则将where子句中的条件反转为e1.id <e2.id,如下所示:DELETE e1 FROM EMPLOYEE e1, EMPLOYEE e2 WHERE e1.name = e2.name AND e1.id > e2.id; 如果要比较多个字段并添加适当的where子句。注意:请始终首先对测试数据执行上述(或修改的)查询,以确保其产生预期的输出。