记一次 MySQL 并发时插入重复数据的解决方案

最新推荐文章于 2024-07-30 03:50:28 发布
最新推荐文章于 2024-07-30 03:50:28 发布
阅读量2.6k 收藏 7
点赞数 1
分类专栏： MySQL 工作问题 文章标签： 数据库 分布式 mysql java redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a295567172/article/details/104639026
版权
在高并发场景下，两个线程可能会同时尝试插入已存在的QQ群消息接收者记录，导致MySQL报错并可能引发死锁。通过使用Redis作为分布式锁，在插入前先锁定，确保只有一个线程执行插入操作，从而避免了死锁问题。此外，还提出了直接使用Redis的Hash结构来存储QQ群号码和QQ号码的关系，以简化并发控制。
摘要由CSDN通过智能技术生成

问题描述

首先，看一下我的表结构。

CREATE TABLE `coolq_qq_group_message_receiver` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `qq_group_number` varchar(12) NOT NULL COMMENT 'QQ群号码',
  `qq` varchar(12) NOT NULL COMMENT '酷Q接收者QQ号'
最低0.47元/天 解锁文章
MarvelCheng
关注
专栏目录
mysql并发插入重复数据问题的解决思路
weixin_34080951的博客
12-21 2052
为什么80%的码农都做不了架构师？>>> ...
解决MySql数据重复插入,出现很多数据重复且相同无意义的问题
qq_39835384的博客
05-08 3801
解决思路 新插入的数据作为一个javaBean，数据库中取出最近的一条数据作为一个javaBean，再比较两个对象值是否有变化，无则插入，有则无操作。 如何比较两个对象值是否有变化 package kk; import java.beans.PropertyDescriptor; import java.lang.reflect.Field; import java.lang.reflect.M...
mysql插入重复数据怎么解决
最新发布
weixin_41942748的博客
07-30 90
解决MySQL插入重复数据的方案 在数据库操作中，插入重复数据是一个常见问题，特别是在高并发的应用场景下。本文将介绍一种解决方案，通过使用MySQL的事务、唯一索引和错误处理机制来避免插入重复数据的问题。 问题分析 在MySQL中，如果尝试插入重复的数据，将会触发唯一性约束错误，导致插入操作失败。例如，如果我们有一个表us...
mysql并发插入
melgibsonsolider的博客
05-19 1239
通常我们对表进行插入的时候，是这样操作的： [code="java"]start transaction; select * from t where id='x'; if not exist: insert into t(id,c) values('x',1); else: update t set c=c+1 where id='x'; commit;[/code] ...
jmeter连接数据库(Mysql),并发添加数据
sinat_23957257的博客
09-10 1960
需求： 在数据库表中添加1W条数据 思路： jmeter连接数据库，并发添加数据 1.环境准备 1.1配置好jdk环境：jdk配置教程 1.2 下载jdbc驱动mysql-connector-java-5.1.41-bin.jar 2.Jmeter配置 2.1添加线程组   2.2切换到测试计划，点击浏览，添加JDBC驱动   2.3 线程组右击添加 配置元件-&g...
mysql并行导入_MySQL也能并发导入数据
weixin_35460589的博客
01-19 1004
对MySQL的用户而言，备受诟病的一个问题就是导入SQL备份文件时不能并发，使得导入的效率很低。今天，我们就来改变下思路，尝试一下并发导入的方法，供大家参考。1、问题分析想要实现并发导入，其实没那么难，最简单的思路就是：将完整的文件切分成多份，然后并发导入即可。在这里，我自己的做法是这样的：1) 首先，假设只有一个库；多个库的情况也是类似，无非就是循环2) 计算SQL文件总行数3) 计算SQL文件...
Mysql事务并发问题解决方案
12-14
本篇文章将深入探讨MySQL中的事务并发问题及其解决方案，包括悲观锁和乐观锁的应用。 首先，问题背景是在视频观看记录更新场景中，当用户观看进度达到100%时，后续请求不再更新。然而，由于并发事务处理不当，出现...
mysql 高并发重复写入_高并发场景下数据重复插入的问题
weixin_28692817的博客
01-19 3599
高并发场景下，数据库经常会发生数据重复插入的问题，这时候单单在插入前，查询数据库，判断是否存在，再进行插入，往往不能保证数据唯一性。查询数据库判断是否存在测试代码： th_insert_test.py 每次插入前，去数据库查询，要插入的 User0-9 是否存在，若不存在则插入，若存在，则返回已经有。#-*- coding:utf8 -*-def db_op_thread_func(i, num_...
mysql 并发 重复写入_并发insert情况下会发生重复的数据插入问题
weixin_33653182的博客
01-19 2030
1.背景用多线程接收推送的订单数据，把接收的订单数据存到一个表中，实现的需求是：如果接收的订单消息在数据库中已经存在，那么执行update操作；如果没有存在，那么执行insert操作代码逻辑：if(oderid != null){//该记录已存在update();}else{//写入记录insert();}线程启动后，发现：数据库表中有两条oderid相同的记录通过查看日志发现：两个线程相差时间极...
mysql 并发插入简单测试
叮咚侠的博客
12-25 1662
测试工具：JMeter 2.8 JDK1.7 Tomcat7 MySql 5.0 数据库中只有有一个表user，user中的字段有id，username，userpwd 测试结果下： 并发数   成功插入条数 100       100 200       200 300       300 400       400 500       500 600       600
mysql 并发插入优化
baiyangfu的专栏
04-18 2361
使用storm处理日志的时候，经常会遇到并发插入mysql的效率问题，到网上查了些资料，做一下笔记 将表的引擎改为 myisam， 修改 my.cnf 的  concurrent_insert =2  , concurrent_insert 可以设的值有 0 1 2 ，2 是完全支持并发插入 1） concurrent _insert =0 ，无论MyISAM的表数据文件中间是否存在因为
mysql并发 处理,MySQL如何处理并发插入？
weixin_32467421的博客
01-18 287
I know there is one issue in MySQL with concurrent SELECT and INSERT. However, my question is if I open up two connections with MySQL and keep loading data using both of them, does MySQL takes data co...
Mysql并发插入，存在更新，不存在新增
石砳书吧的博客
06-19 1861
在实际开发过程中，我们会遇到这样的问题，插入数据时想让数据库存在的时候就更新，不存在的时候就新增。方案一：先查询后插入，先到数据库查询一下，查到数据就更新，查询不到数据就新增，但是这种情况往往会发生很多错误，比如在查询后判断是否存在时，其他线程已经插入完毕了，你这边还是判断不存在的，这时候就会重复插入或者报错。方案二：Mysql提供了ON DUPLICATE KEY UPDATE,保证了操作的原子...
并发造成的数据重复插入问题
松江的博客
12-02 4078
并发造成的数据重复： 首先，我们举一个实例。 比如：A和B要想数据库里插入一条数据，如果当前的数据存在 则不插入；但是在并发的情况下，会出现同时 A 去库里查 数据不存在 插入一条数据 B 去库里查 数据不存在 插入一条数据 如何解决并发下的数据重复： 1.数据库表添加唯一索引，占用大量内存 2.使用synchronized，导致性能下降； 3.redis 的分布式锁 因为redis是单线程的，所以不存在并发安全问题； 这时我们可以通过setnx key value;通过相同的key往redis 中 set
mysql 数据重复提交数据_关于重复提交数据问题的解决方案
weixin_35647812的博客
01-19 451
在做前端开发的时候，我们经常会遇到提交信息到后台的需求。在做这个需求中，可能很多人都遇到过这个问题：那就是当用户点击提交按钮提交数据的时候，用户没有看到及时的交互反馈，用户会再次或者多次点击按钮提交数据，如果这个问题没有被避免，那么后台接收到的数据很可能是相同的重复数据。那怎么来解决这个问题呢？从技术的角度来说，主要有以下两个方案。1. 第一个方案：从前端的角度来说。当要提交的各种数据都验证正确合...
解决线程池执行数据库操作，同时插入相同的数据
m0_37729339的博客
01-26 1194
需求： 使用定时任务加线程池执行数据库操作时，会同时插入相同的数据，希望线程池执行时，不同的id可以同时执行查询并插入数据库，相同的id等第一个id执行完成再执行下一个。 @Test public void contextLoads() { //进行异步任务列表 List<FutureTask<Integer>> futureTasks = new ArrayList<FutureTask<Integer>&g
mysql预处理sql_MySQL数据库的预处理详解
weixin_28753647的博客
02-05 1214
原标题：MySQL数据库的预处理详解MySQL数据库的预处理详解1、预处理干了什么当我们提交一条数据库语句时，语句到达数据库服务那边，数据库服务需要解析这条sql语句，比如说语法检查，查询条件先后优化，然后才执行。对于预处理，简单来说就是把客户端与数据库服务原本一次交互的分成两次。首先，提交数据库语句，让数据库服务先解析这条语句。其次，提交参数，调用语句并执行。这样对于多次重复执行的语句来说，可以...
Java防止重复数据多次调用接口导致数据库插入重复记录
热门推荐
goldmei一枝梅的专栏
08-30 2万+
Java防止重复数据多次调用接口导致数据库插入重复记录
MySQL批量插入与唯一索引解决方案
本文主要探讨了在MySQL中处理批量插入时遇到唯一索引冲突的问题以及相应的解决策略。在使用SQL Server时，特别是在表分区时，开发者可能会遇到与唯一索引相关的挑战。MySQL同样支持唯一索引，这对于确保数据的唯一性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值