记 MybatisPlus 使用 saveBatch方法批量插入时雪花算法ID重复问题.

已于 2023-04-17 09:22:40 修改
阅读量8.8k 收藏 7
点赞数 2
文章标签： java mybatis spring cloud
于 2023-04-15 15:07:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AKALXH/article/details/130170340
版权
在使用MybatisPlus的saveBatch方法进行批量插入时遇到ID重复问题，即使改用IdWorker生成ID仍有冲突。经过分析，发现ID重复发生在实体属性完全相同的记录上，移除这些重复属性的实体后解决了ID重复的问题。具体原因待进一步研究源码确认。
摘要由CSDN通过智能技术生成
MybatisPlus 使用 saveBatch方法批量插入时雪花算法ID重复问题. (Java)
背景 :

批量插入的实体ID属性使用 注解 @TableId(type = IdType.ASSIGN_ID) 方式 实现ID生成.
代码中需要批量插入实体数据,使用 saveBatch(List); 时报数据库错误: ID KEY 条目重复.

解决 :

于是尝试使用 IdWorker.getId() 方法在生成实体时插入ID,然后DeBug查看ID生成情况. 发现也是出现了ID重复的情况,然后观察实体属性发现一个规律,重复的ID实体其他属性值也是一致的,就有了这么一个猜测:
因为实体属性相等,影响了ID的赋值,导致ID重复.于是我把属性重复的实体剔除后再次生成.果然ID没有重复了.

具体原因 :

因为当时时间比较急促没来得急去查看源码,具体是哪一步导致出现这样的问题,后续补充上.

LXH-404
关注
【SpringBoot】91、SpringBoot解决Mybatis-Plus生成雪花ID重复问题
Asurplus
12-21 2941
只要 workerId 和 dataCenterId 不同时重复，生成的雪花 ID 就不会重复。这是因为每个 ID 都是唯一的，并且是根据特定的算法生成的
【异常】Mybatis-plus的saveBatch()造成雪花ID重复 ，提示Duplicate entry ‘...‘ for key ‘PRIMARY
本本本添哥
12-02 3654
【代码】【异常】Duplicate entry ‘...‘ for key ‘PRIMARY 竟然是因为Mybatis-plus的saveBatch()造成雪花ID重复。
Mybatis Plus通过idworker解决雪花算法重复问题
Winn~
01-17 5322
华为云的服务器的/etc/hosts中都会生成一条 127.0.1.1 hostname的记录 ，导致获取network为null ,datacenterId 会取默认值1，导致重复概率大大增加。
Mybatis-Plus save和saveBatch方法忽略自增主键
最新发布
duchx的专栏
09-20 796
创建过程中遍历mapperLocations使用MybatisXMLMapperBuilder对Mapper文件进行解析，中间步骤跳过，因为我们跟踪的是save和saveBatch这两个方法最终调用的是Mapper.insert方法，所以只需看Insert类即可，上面解析方法为insert通过Insert类来完成。比3.5.6就少了这个属性，而columnScript赋值的后面方法中如果主键策略是IdType.AUTO也就是自增主键的话默认是不带主键返回的。3.4.0的版本代码。
mybatis-plus内置雪花算法主键重复问题
热门推荐
简单简单小白
05-20 5万+
Mybatis-Plus 使用ID_WORKER生成主键id重复 问题描述 目前项目使用的id是mybatis-plus 内置的主键生成策略 ID_WORKER ，最近测试在做性能压测，部署架构是单服务集群的部署方式，然后就发现了id重复的异常，异常如下 问题分析 首先分析的是id生成是不是就是重复了，先关掉其中一台机器，单机跑，这个时候发现压到1000的并发都没有出现过id重复，这个说明单机情况下不存在id重复问题，说明只有集群的情况下才会出现。 再分析一下id生成的几个要素，雪花算法的核心能影响
雪花算法生成的id重复
qq_39594499的博客
02-17 908
基于mybatisPlus的默认生成器 - DefaultIdentifierGenerator 场景：压测环境下。单个服务实例
解决问题：当mp mybatis批量插入时，数字id重复_v1.0.1
般若
08-23 6789
文件名称 版本号 作者 qq 版本 解决问题：当mp mybatis批量插入时，数字id重复 v1.0.0 学生宫布 8416837 SpringBoot 2.2.6mp 3.3.2 文章目录报错全称代码疑似产生的原因弯路、坑分析解决方案关于 报错全称 java.lang.RuntimeException: org.apache.ibatis.exceptions.PersistenceException: insert (batch index #1) failed. Cause: ...
mybatis-plus使用saveOrUpdateBatch函数时数据库中已存在对应id数据，但报错插入时出现重复键
good18Levin的博客
08-22 923
对该段测试代码执行两次，第一次成功在表中插入该数据，
mybatis-plus的id生成策略采用雪花算法在k8s集群环境下发生重复问题
guntun8987的博客
04-26 3498
mybatis-plus的id生成策略采用雪花算法在k8s集群环境下发生重复问题
MybatisPlus
L小Ray想有腮
04-28 1064
MyBatis-Plus 是一个 MyBatis的增强工具，在 MyBatis的基础上只做增强不做改变，为简化开发、提高效率而生。
MybatisPlus之插入操作、雪花算法与主键生成策略
我能在河边钓一整天的鱼
05-25 6568
使用MybatisPlus执行插入操作 我们插入一条记录 @Test public void testInsert(){ User user = new User(); user.setName("钓鱼者"); user.setAge(3); user.setEmail("123456789@qq.com"); int result = userMapper.insert(user); ...
MybatisPlus方法详细使用，实现无SQL式开发
xxxzzzqqq_的博客
03-07 1445
例如汇总【添加数据：（增）】// 插入一条记录注：T 表示任意实体类型entity 表示实体对象【删除数据：（删）】// 根据主键 ID 删除// 根据 map 定义字段的条件删除// 根据实体类定义的 条件删除对象// 进行批量删除注：id 表示 主键 IDcolumnMap 表示表字段的 map 对象wrapper 表示实体对象封装操作类。
tkmybatis+shardingSphere的插入问题
niuzh的博客
01-08 1720
由于本人一直用的tkmybatis，在学习shardingSphere的过程中。发现如果用主键作为分片策略，就算指定了用雪花算法，实际上是无效的。 原因是ShardingSphere只有当你的传递的字段没有值的时候才会去使用雪花算法生成id，所以实际使用会出错 实体类 @Data public class TStudent implements Serializable { @Id // @Column(insertable = false) private Long id;
mybatis-plus的id生成采用雪花算法id集群部署id重复问题
qq_35753886的博客
12-08 1405
容器集群部署三个服务，做负载均衡同时插入数据时，使用的是mybatis-plus的id生成策略采用的雪花算法根据InetAddress进行生成本以为每个容器ip不同就不会出现id重复问题！但是进入源码发现DefaultIdentifierGenerator 的 InetAddress 构造方法是通过将 IP 地址转换为一个长整数，然后对 31 取模来生成数据中心 ID 和工作机器 ID 的。
MyBatis-Plus 内置雪花算法主键重复问题
Java知音
09-23 867
问题描述目前项目使用的id是mybatis-plus 内置的主键生成策略 ID_WORKER ，最近测试在做性能压测，部署架构是单服务集群的部署方式，然后就发现了id重复的异常，异常如下问题分析首先分析的是id生成是不是就是重复了，先关掉其中一台机器，单机跑，这个时候发现压到1000的并发都没有出现过id重复，这个说明单机情况下不存在id重复问题，说明只有集群的情况下才会出现。再分析一下id生成的...
雪花算法ID重复问题
qq_38147572的博客
04-15 1349
注：并不是所有的雪花算法id重复的原因都是这个，有重复时建议优先排查该配置，简单快速，如配置没问题，再继续排查其他原因。解决方法：修改服务节点配置值，同一实例的不能有重复。产生原因：因为该服务有多个实例，服务端节点配置重复。背景：生产环境中通过雪花算法生成的id有重复现象。#服务端业务节点（最大127），区间5~9。
Mybatis-Plus 关于savebatch,saveorupdatebatch遇到的坑及解决办法&拓展mybatisPlus实现类方法，批量插入时，唯一索引冲突后更新
qq_43842093的博客
09-17 1万+
​ 最近mybatis-plus框架的更新，让我们基础开发中如虎添翼。其中基本的增删改查，代码生成器想必大家用着那叫一个爽。本人在使用中，也遇到一些坑。比如savebatch,saveorupdatebatch，看着这不是批量新增，批量新增或更新嘛，看着api进行开发，感觉也太好用啦。开发完一测试，速度跟蜗牛一样，针对大数据量真是无法忍受。在控制台上发现，怎么名义上是批量插入，还是一条一条的进行插入，难怪速度龟速。
mybatis-plus 雪花算法id冲突问题解决、雪花算法id冲突、雪花算法、id冲突解决、id、id冲突、主键冲突
ab411919134的专栏
09-05 544
mybatis-plus默认id生成器生成workerId时是读取的jvm pid，但是k8s里pod的jvm pid不作处理时默认都是1，导致datacenterId + workerId有很大机率不同的pod拥有相同的值。mybatis-plus 雪花算法id冲突问题解决、雪花算法id冲突、雪花算法、id冲突解决、id、id冲突、主键冲突。不同的pod之间分配唯一的datacenterId、workerId，使生成的雪花算法id不会产生冲突。
mybaits-plus type = IdType.ASSIGN_ID 没有作用
05-30
`type = IdType.ASSIGN_ID` 是 Mybatis-Plus 框架中的一个注解，用于指定主键生成策略。其中 `ASSIGN_ID` 表示手动指定主键值，即使用 INSERT 语句插入记录时需要手动设置主键值，而不是由数据库自动生成主键。如果你使用该注解指定主键生成策略，但是仍然无法手动设置主键值，可能是以下原因之一： 1. 数据库表的主键列设置为自增长（auto increment），这时候不允许手动设置主键值。 2. 手动设置主键值时出现了错误，比如主键值重复造成插入失败，或者手动设置的主键值不符合主键列的类型和范围限制。 你可以检查一下数据库表的主键设置和手动设置主键值的代码，看看是不是出现了上述问题。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值