Mysql批量插入时重复数据问题

之前写的代码批量插入遇到了问题，原因是有重复的数据（主键或唯一索引冲突），所以插入失败。现在总结一下如何解决批量插入数据重复问题。

三种方法：

• insert ignore into：若没有则插入，若存在则忽略
• insert into ... on duplicate key update：若没有则正常插入，若存在则更新
• `replace into：若没有则正常插入，若存在则先删除后插入

注意：使用以上三种方法前提条件是表中有 PRIMARY KEY 或 UNIQUE ，否则，使用以上三个语句没有特殊意义，与使用单纯的 INSERT INTO 效果相同。

一、insert ignoreinto

insert ignore into 会根据主键或者唯一键判断，忽略数据库中已经存在的数据
若数据库没有该条数据，就插入为新的数据，跟普通的 insert into 一样
若数据库有该条数据，就忽略这条插入语句，不执行插入操作。

二、insert into … on duplicate key update

在 insert into 语句末尾指定 on duplicate key update，会根据主键或者唯一键判断：
若数据库有该条数据，则直接更新原数据，相当于 update
若数据库没有该条数据，则插入为新的数据，跟普通的 insert into 一样

三、replace into

replace into 会根据主键或者唯一键判断：
若表中已存在该数据，则先删除此行数据，然后插入新的数据，相当于 delete + insert
可能会丢失数据、主从服务器的 AUTO_INCREMENT 不一致。
若表中不存在该数据，则直接插入新数据，跟普通的 insert into 一样

总结：

1. 在主键冲突情况下，三种方法都可以使用
2. 在唯一键冲突情况下，且有自增主键时：
   a. 三种方法都会出现 AUTO_INCREMENT 不连续问题，且这种不连续不会同步更新到 slave 的 AUTO_INCREMENT；
   b. 当master 被 kill，且 slave 升级为 master 时，就会出现主键冲突问题。
3. replace into 方法可能会导致部分数据丢失。

所以，实际使用时，若是唯一键冲突的情况，一定要谨慎，避免踩坑！