MySQL处理重复数据

数据表

CREATE TABLE person_tbl
(
   first_name CHAR(20) NOT NULL,
   last_name CHAR(20) NOT NULL,
   sex CHAR(10),
   PRIMARY KEY (last_name, first_name)
);
-- 使用unique定义
CREATE TABLE person_tbl
(
   first_name CHAR(20) NOT NULL,
   last_name CHAR(20) NOT NULL,
   sex CHAR(10),
   UNIQUE (last_name, first_name)
);

1.统计重复数据

select count(*) as repetitions,last_name,frist_name from person_tb1 group by last_name,frint_name having reprtitions > 1 ;

以上查询语句将返回 person_tbl 表中重复的记录数。 一般情况下，查询重复的值，请执行以下操作：
确定哪一列包含的值可能会重复。
在列选择列表使用COUNT(*)列出的那些列。
在GROUP BY子句中列出的列。
HAVING子句设置重复数大于1。

2.过来重复数据

• 如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

SELECT DISTINCT last_name, first_name FROM person_tbl;

• 你也可以使用 GROUP BY 来读取数据表中不重复的数据：

SELECT last_name, first_name FROM person_tbl GROUP BY (last_name, first_name);

3.删除重复数据

• 如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：

CREATE TABLE tmp SELECT last_name, first_name, sex FROM person_tbl  GROUP BY (last_name, first_name, sex);

DROP TABLE person_tbl;

ALTER TABLE tmp RENAME TO person_tbl;

• 当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：

ALTER IGNORE TABLE person_tbl ADD PRIMARY KEY (last_name, first_name);