MySQL去重

关于数据库去重问题的分析

根据条件分析数据

查询SQL：

SELECT ... FROM table （如果还其他条件加）WHERE ... GROUP BY 重复的条件 HAVING count(*)>1

数据分析：

1、
根据姓名、身份证号查询重复数据
排除数据来源是0、1的和姓名为空的数据
查出来重复数据共有19661条，包含系统界面中有明显问题的数据

2、
重复的数据只有ID不一样，其他信息基本一致，其中：
一个id是32位的随机码，例如：17ae2be09ca04fcca8e4525f5b02da97
一个id是身份证号作为ID

去重语句的编写

百度搜索的SQL语句优化后：

DELETE
	* 
FROM
	TABLE,
	(
	SELECT
		MIN( ID ) minid,
		USER_NAME,
		IDCARD 
	FROM
		TABLE 
	WHERE
		sjly != 0 
		AND sjly != 1 
		AND USER_NAME != 'NULL' 
	GROUP BY
		USER_NAME,
		IDCARD 
	HAVING
		count( * ) > 1 
	) lsb 
WHERE
	TABLE.USER_NAME = lsb.USER_NAME 
	AND TABLE.IDCARD = lsb.IDCARD 
	AND TABLE.ID = lsb.minid

分析：

1、根据ID的不同，可以凭借ID的性质（两条USER_NAME和IDCARD相同的数据ID是不同的，一个是18位数字，一个是32位数字加字母组合）
可以比较ID大小，用max()、min()函数保留id小的，或者id大的一个。
2、为了优化SQL，可以将所需条件生成一张临时表（from之后where之前的子查询）
3、使用where将子表中的数据与主表作对比，删除id小的一个。

问题没有解决的原因分析

有些数据存在以下情况：

1、其身份证没有填写，或不同，但是其他信息一致
2、其身份证一致，但是姓名不同（垃圾数据）

根据情况重新编写SQL

一点点将垃圾数据清理(╥╯^╰╥)

没了，就这么多|ू･ω･` )