关于数据库去重问题的分析
根据条件分析数据
查询SQL:
SELECT ... FROM table (如果还其他条件加)WHERE ... GROUP BY 重复的条件 HAVING count(*)>1
数据分析:
1、
根据姓名、身份证号查询重复数据
排除数据来源是0、1的和姓名为空的数据
查出来重复数据共有19661条,包含系统界面中有明显问题的数据
2、
重复的数据只有ID不一样,其他信息基本一致,其中:
一个id是32位的随机码,例如:17ae2be09ca04fcca8e4525f5b02da97
一个id是身份证号作为ID
去重语句的编写
百度搜索的SQL语句优化后:
DELETE
*
FROM
TABLE,
(
SELECT
MIN( ID ) minid,
USER_NAME,
IDCARD
FROM
TABLE
WHERE
sjly != 0
AND sjly != 1
AND USER_NAME != 'NULL'
GROUP BY
USER_NAME,
IDCARD
HAVING
count( * ) > 1
) lsb
WHERE
TABLE.USER_NAME = lsb.USER_NAME
AND TABLE.IDCARD = lsb.IDCARD
AND TABLE.ID = lsb.minid
分析:
1、根据ID的不同,可以凭借ID的性质(两条USER_NAME和IDCARD相同的数据ID是不同的,一个是18位数字,一个是32位数字加字母组合)
可以比较ID大小,用max()、min()函数保留id小的,或者id大的一个。
2、为了优化SQL,可以将所需条件生成一张临时表(from之后where之前的子查询)
3、使用where将子表中的数据与主表作对比,删除id小的一个。
问题没有解决的原因分析
有些数据存在以下情况:
1、其身份证没有填写,或不同,但是其他信息一致
2、其身份证一致,但是姓名不同(垃圾数据)
根据情况重新编写SQL
一点点将垃圾数据清理(╥╯^╰╥)