MySQL - 批量插入唯一索引冲突避免办法

最新推荐文章于 2025-03-05 17:57:30 发布

MinggeQingchun

最新推荐文章于 2025-03-05 17:57:30 发布

阅读量2k

点赞数 9

文章标签： mysql 数据库

本文链接：https://blog.csdn.net/MinggeQingchun/article/details/135038583

版权

本文介绍了在MySQL中处理大规模数据插入时遇到唯一索引冲突的四种方法：1）忽略冲突的INSERTIGNORE；2）删除旧记录并插入新的REPLACEINTO；3）更新现有记录的ONDUPLICATEKEYUPDATE；4）基于特定条件插入的INSERT...SELECT。这些方法有助于减少错误并维护数据一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们在进行大批量的数据插入时，遇到唯一索引冲突是经常的事，报错如下：

java.util.concurrent.ExecutionException: org.springframework.dao.DuplicateKeyException: 
### Error updating database.  Cause: java.sql.SQLIntegrityConstraintViolationException: Duplicate entry '1122-zhangsan' for key 'idx_no_name'

在MySQL中有4种方法可以避免唯一索引冲突

（一）导入差异数据，忽略重复数据，IGNORE INTO的使用

（二）导入并覆盖重复数据，REPLACE INTO 的使用

（三）导入保留重复数据未指定字段，INSERT INTO ON DUPLICATE KEY UPDATE 的使用

表 test1

1、insert ignore into

INSERTIGNORE语句可以在插入数据时忽略唯一索引冲突的错误，而不会中断插入过程。

如果插入的数据存在唯一索引冲突，那么MySQL将忽略该行的插入操作，继续插入下—行数据。

INSERT IGNORE INTO table_name (column1, column2, ...)
VALUES (valuel, value2， ...),...

2、replace into

REPLACE语句可以用于插入新行或替换已存在的行。

如果存在primary or unique相同的记录，则先删除掉。再插入新记录

如果插入的数据存在唯一索引冲突，那么MySQL将删除已存在的行，并插入新行。

这种方法就是不管原来有没有相同的记录，都会先删除掉然后再插入。这意味着插入操作总是成功的，但可能导致数据丢失

REPLACE INTO table_name (columnl, column2, ...)
VALUES (valuel, value2, ...),...

3、on duplicate key update

当primary或者unique重复时，则执行update语句，如update后为无用语句，

如id=id，则同1功能相同，但错误不会被忽略掉。例如，为了实现name重复的数据插入不报错，可使用一下语句：

INTO table_name (columnl, column2, ...)
VALUES (valuel, value2, ...),...
ON duplicate KEY UPDATE id = id

这种方法有个前提条件，就是，需要插入的约束，需要是主键或者唯一约束。

4、insert … select … where not exist

根据select的条件判断是否插入，可以不光通过primary 和unique来判断，也可通过其它条件。例如：

INSERT INTO books (name) SELECT 'MySQL Manual' 
FROM dual 
WHERE NOT EXISTS (SELECT id FROM books WHERE id = 1)

这种方法貌似写这很繁琐

INSERT INTO order (orderId ) VALUES
SELECT '500002' FROM DUAL WHERE NOT EXISTS (
SELECT * FROM order WHERE orderId='500002'
)