解决并发数据重复

最新推荐文章于 2024-07-14 16:32:18 发布
最新推荐文章于 2024-07-14 16:32:18 发布
阅读量3k 收藏 4
点赞数
分类专栏： # Java-开发日常 文章标签： 重复数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leo187/article/details/79629627
版权

背景介绍

  • 数据库出现了单个字段数据重复问题。例如用户表中的userName字段，虽然不是主键，但也不允许数据重复。此处就此问题的排查进行一个记录，希望可以给遇到了相同问题的朋友提供一个解决思路。
  • 代码的业务逻辑如下图
    在这里插入图片描述

问题定位

  • 在网络拥堵、数据库反应迟缓、同时有多个请求同时请求时就会出现数据重复问题，即同时出现了多条用户名为【xiaoming】的数据。错误原因是user1的请求正处于耗时的验证过程中，即将新增数据，这时user2的请求也进入了验证阶段，此时数据库中并没有‘xiaoming’这条数据，所以user2的请求也通过了验证，结果就出现了重复数据。即user2验证的时候user1还没执行新增过程。

解决思路

  • 尽量缩短查询验证和数据插入的时间，提前做好数据组装工作，验证完数据库立刻进行增加或者修改的操作。
  • 如果是特别重要的数据可以对表进行加锁，或者代码进行加锁，防止多个请求同时访问。
  • 可以针对单个字段加唯一索引，SQL Server加唯一索引的条件是库中这个字段数据不重复且字段长度小于900字节。Sqlserver建立索引可以参考SQL server建立索引
Leo187
关注
专栏目录
记一次多并发导致数据重复的问题
captian_900331的博客
05-31 2244
一、问题 在多并发条件下导致初始化数据重复。 二、开发环境 java8+SpringBoot2.0X+redis+oracle 三、排查思路 1、首先既然数据重复，那么是不是在insert into的时候出现了问题，那么用merge into不就行了吗？ 具体如下： MERGE INTO table_name a USING (SELECT 1 FROM dual) ON (a.filed_name1='#{filed_name1}' and a.filed_name2='#{filed_name2}' .
java高并发insert重复数据_详解java解决分布式环境中高并发环境下数据插入重复问题...
weixin_34731836的博客
03-03 1614
java 解决分布式环境中 高并发环境下数据插入重复问题前言原因：服务器同时接受到的重复请求现象：数据重复插入 / 修改操作解决方案 ： 分布式锁对请求报文生成 摘要信息 + redis 实现分布式锁工具类分布式锁的应用package com.nursling.web.filter.context;import com.nursling.nosql.redis.RedisUtil;import c...
SQLServer中防止并发插入重复数据的方法详解
12-16
SQLServer中防止并发插入重复数据，大致有以下几种方法： 1.使用Primary Key，Unique Key等在数据库层面让重复数据无法插入。 2.插入时使用条件 insert into Table(****) select **** where not exists(select 1 from Table where ****); 3.使用SERIALIZABLE隔离级别，并且使用updlock或者xlock锁提示（等效于在默认隔离级别下使用(updlock,holdlock)或(xlock,holdlock)） set transaction isolation level SE
Java 防多线程重复保存数据
最新发布
微赚淘客开发者博客
07-14 521
大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！在并发编程中，如果多个线程同时对同一份数据进行操作，可能会导致数据重复保存的问题。ConcurrentHashMap是线程安全的Map实现，可以使用它来存储已经保存过的数据，防止重复保存。除了在Java代码中进行同步控制，还可以利用数据库的唯一约束来防止重复保存数据。在数据库表中对需要唯一的数据字段添加唯一约束，当插入重复数据时，数据库会抛出异常。通过这些方法，我们可以有效防止多线程重复保存数据，确保数据的一致性和完整性。
并发造成的数据重复插入问题
松江的博客
12-02 4077
并发造成的数据重复： 首先，我们举一个实例。 比如：A和B要想数据库里插入一条数据，如果当前的数据存在 则不插入；但是在并发的情况下，会出现同时 A 去库里查 数据不存在 插入一条数据 B 去库里查 数据不存在 插入一条数据 如何解决并发下的数据重复： 1.数据库表添加唯一索引，占用大量内存 2.使用synchronized，导致性能下降； 3.redis 的分布式锁 因为redis是单线程的，所以不存在并发安全问题； 这时我们可以通过setnx key value;通过相同的key往redis 中 set
该问题应该可以归纳为并发导致的数据库数据重复
denglirong_blog的博客
12-29 679
问题描述：在给移动端做一个收藏功能的时候，正常情况下，登录人点击收藏按钮调用收藏接口，再点击调用取消收藏接口，收藏时不能重复收藏（这个开始时是在程序里做的判断，即添加数据的时候根据登录人id和被收藏人的id来判断是否要收藏该人）。但是，当移动端猛戳收藏按钮的时候，就出现数据重复的情况。 解决办法：使用Hibernate 注释 唯一键约束 uniqueConstraints
针对并发流程，出现数据插入重复的情况做以下优化 postgresql
高考我军的博客
02-09 1307
针对并发流程，出现数据插入重复的情况做以下优化 postgresql
MySQL并发读导致重复执行提现回退问题
独乐乐不如众乐乐
08-16 395
MySQL并发读不加锁导致重复插入数据
详解java解决分布式环境中高并发环境下数据插入重复问题
08-26
该解决方案可以确保在高并发环境下，服务器同时接受到的重复请求不会导致数据重复插入或修改操作。 知识点二：redis实现分布式锁 在本文中，作者使用redis实现分布式锁工具类，该工具类可以确保在高并发环境下，...
记一次 MySQL 并发时插入重复数据的解决方案
12-14
本篇文章探讨了一次在MySQL并发操作中遇到的插入重复数据问题及其解决方案。 问题起源于一个名为`coolq_qq_group_message_receiver`的表，用于存储QQ群消息接收者的信息，其中`qq_group_number`字段具有唯一性约束...
高并发情况下如何保证订单号不重复
Jack_2085
06-15 700
1、网上例子： https://blog.csdn.net/zheng2780071070/article/details/107692978 https://www.cnblogs.com/haiyan123/p/9752813.html https://www.cnblogs.com/franknihao/p/7307224.html
SQL重复记录查询 查询多个字段、多表查询、删除重复记录的方法
09-10
下面小编就为大家带来一篇SQL重复记录查询 查询多个字段、多表查询、删除重复记录的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
高并发下如何保证数据表中唯一性
ruixing222的专栏
11-13 3437
在说明问题之前我们先来看一段经常性使用的代码 function fun(){ 开启事务 try{ var count = find(); if(count<1){ insert(); } 提交事务 }catch(e){ 事务回滚 } } ...
数据库更新锁：使用种子表获取自增流水号时，避免高并发访问种子字段引起获取到重复流水号的问题
奋斗鱼
02-05 675
获取流水号的方式 在数据库应用开发中，比如订单业务中，需要使用到流水号，即每次获取自增一次后的值。 一般有两种方式， 1.获取订单表中当前最大值加1,此方式每次都需要MAX流水号，大数据表时效率不高，不推荐使用。 2.创建种子表，将流水号字段放到该表中，每次获取表中的字段值，加1得到新的流水号，再把新值更新回表中，提供给下一次生成使用。 方法2相对方法1更推荐使用。 数据表效果如下： 问题 使用种子表方式是先获取字段值再加1，如果高并发情况下，可能会遇到获取到的值是另一个线程已经获取到但
并发时如何避免从表中取到的最大值重复
guaiguaigirlma的专栏
09-26 1476
declare @t table(maxcid int) update tb set cid=cid+1 outout inserted.cid into @t where ... select maxcid from @t
关于服务器并发访问导致重复写数据库的问题
轻轻一叶风
11-26 977
最近在做一个激活服务，客户端访问一个url，传递udid和packname两个字符串，服务器通过这两个字符串和mysql内的进行比较，如果都相同，则更新字段，否则作为一个新的字段插入。 判断逻辑我是这样写的： if(ClientDao.getUser(cd.getUdid(),cd.getPkgname()) == null){ //若数据库中没有唯一记录 System.out.p
并发入库面临重复数据的问题
weixin_30307267的博客
02-27 600
并发入库面临重复数据的问题 以User类为例，当添加一个用户时，首先会去判断用户是否已经存在（即username是否已经在数据库中了），如果没有，则insert一条用户数据，如果有，则提示用户名已存在。 将这个操作看作函数：UserService.saveUser(User user)，有3个步骤： private int saveUser(User user) {　　if (...
SQL查询重复字段
zyhyszf的博客
12-13 991
1.找出20171130号的new_name数，重复的不重复计算 select min(nse.new_name) from new_services ns WITH (NOLOCK) inner join new_servicesExtensionBase  nse  WITH (NOLOCK) on ns.new_servicesId = nse.new_servicesId inne
SQL查询某一字段重复的数据
weixin_47397751的博客
02-21 8573
查询出重复记录 select * from 数据表 WHERE 重复记录字段 in ( select 重复记录字段 from 数据表 group by 重复记录字段 having count(重复记录字段)>1) 例如： select * from wms_user_role WHERE role_id in ( select role_id from wms_user_role group by role_id having count(role_id)>1); ...
java并发导致数据重复怎么解决
08-13
需要注意的是，并发问题是一种复杂的问题，解决并发导致的数据重复需要综合考虑多种因素，例如数据的读写频率、性能要求等。因此，在解决并发导致的数据重复问题时，需要仔细分析具体的情况，选择适合的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值