高并发时,进行insert操作出现重复记录问题分析

本文探讨了在数据库插入操作中如何避免重复记录的问题。通过使用synchronized同步代码块解决单点服务器并发问题,并介绍如何利用数据库唯一性约束确保多服务器环境下数据的一致性和唯一性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


1.背景


在进行insert时,先query一下数据库,判断记录是否存在,如果存在,不执行插入操作。但是在数据量较大的时候,就会出现重复记录的问题。

if (bean != null) {
            map.put("msg", "failed");
            return map;
        }
        repaymentDao.insert(repaymentBean);
        map.put("msg", "success");
        //扣除冻结账户
        //updateUserAmount(repaymentBean);
        return map;
        }

2.解决方案


synchronized同步代码块即加同步锁,synchronized同步代码块的功能:

   1)、当A线程访问对象的synchronized代码块的时候,B线程依然可以访问对象方法中其余非synchronized块的部分
   2)、当A线程进入对象的synchronized代码块的时候,B线程如果要访问这段synchronized块,那么访问将会被阻塞
if (bean != null) {
            map.put("msg", "failed");
            return map;
        }else {
            synchronized (this) {
                repaymentDao.insert(repaymentBean);
                map.put("msg", "success");
                //扣除冻结账户
                //updateUserAmount(repaymentBean);
                return map;
            }

上面用synchronized同步代码块解决了在单点服务器中涉及到的并发问题,但是synchronized同步代码块在部署到多台服务器会失效,因为假设A机器在在执行数据库insert,判断出数据库中没有该条记录,同时此刻B机器也判断出没有没有该条记录,两台机器都进行insert操作,造成数据库中有重复的记录 。


3.多台服务器相互之间的并发导致有重复的订单数据问题解决


在数据库层面,用unique唯一性约束来保证数据的数据库表orderid的唯一性.

  添加了唯一性约束后,假设A机器insert成功了,那么B机器再insert的时候会违反唯一性约束,报InvocationTargetException这个异常,捕获该异常后,return。
        if (bean != null) {
            map.put("msg", "failed");
            return map;
        }else {
            synchronized (this) {
                try {
                    repaymentDao.insert(repaymentBean);
                    map.put("msg", "success");
                    //扣除冻结账户
                    //updateUserAmount(repaymentBean);
                    return map;
                } catch (Exception e) {
                    map.put("msg", "failed");
                    return map;
                }
            }
        }
### 解决 MySQL 中 `INSERT SELECT` 导致数据重复问题的方法 在处理 MySQL 数据库中的 `INSERT SELECT` 操作,如果目标表存在唯一约束或主键约束,则可能会发生数据重复问题。为了避免这种情况的发生,可以采用以下几种方法: #### 方法一:使用 `ON DUPLICATE KEY UPDATE` 通过设置唯一的索引或主键,在执行 `INSERT SELECT` 语句,利用 `ON DUPLICATE KEY UPDATE` 子句来更新已存在的记录而不是插入新记录。 ```sql INSERT INTO target_table (column1, column2) SELECT source_column1, source_column2 FROM source_table ON DUPLICATE KEY UPDATE column1 = VALUES(column1), column2 = VALUES(column2); ``` 此方法适用于当遇到重复键值需要更新某些字段的情况[^1]。 #### 方法二:先查询再插入(带锁定) 可以通过显式的锁机制防止并发条件下可能产生的冲突。例如,使用 `LOCK IN SHARE MODE` 或者 `FOR UPDATE` 来控制读取行为并确保一致性。 ```sql START TRANSACTION; -- 使用 FOR UPDATE 锁定即将被插入的数据行 SELECT * FROM source_table WHERE condition LOCK IN SHARE MODE; INSERT IGNORE INTO target_table (column1, column2) SELECT source_column1, source_column2 FROM source_table WHERE condition; COMMIT; ``` 这里需要注意的是事务隔离级别以及潜在死锁风险的影响[^3]。 #### 方法三:借助临表去重后再批量导入 创建一个中间暂存区存储筛选后的无重复项集合之后再统一写入最终的目标位置上。 ```sql CREATE TEMPORARY TABLE temp_target AS SELECT DISTINCT s.column1, s.column2 FROM source_table s LEFT JOIN target_table t ON s.key_col=t.key_col AND t.key_col IS NULL ; INSERT INTO target_table (column1,column2) SELECT tt.column1 ,tt.column2 FROM temp_target tt ; DROP TEMPORARY TABLE temp_target; ``` 这种方法能够有效减少因多次单条记录验证带来的性能开销[^5]。 #### 方法四:调整自增模式降低竞争概率 对于涉及自动增长列的应用场景下,适当修改 InnoDB 的 auto_increment lock mode 参数可以帮助缓解由于高并发环境下的序列号分配引发的竞争状况。 ```bash SET GLOBAL innodb_autoinc_lock_mode=2; -- 连续模式连续分配ID给所有线程共享批次范围内的编号资源池 ``` 不过改变默认配置前需充分评估其利弊得失,并确认业务逻辑对此变更具备足够的容忍度[^2]。 --- ### 注意事项 - 如果源表中有复合主键或者联合唯一索引的设计方案,请务必提前规划好如何识别哪些组合构成了不可替代的身份标识[^4]^。 - 对于大规模迁移任务建议分批逐步完成而非一次性加载全部内容以免造成系统负载过高甚至崩溃等问题出现。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值