mysql 8.x 中insert ignore的性能问题

最新推荐文章于 2023-12-06 11:53:40 发布
最新推荐文章于 2023-12-06 11:53:40 发布
阅读量6.8k 收藏 6
点赞数
分类专栏： 数据库 文章标签： mysql 并发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kkk23333/article/details/106054915
版权

mysql中replace into效率很差，多进程并发一下就会锁表，所以应该用on duplicate 来做更新，这是众所周知的了。没想到insert ignore也有性能坑，记录下遇到的问题。

为了往一张表中插入初始化数据，我开了10个进程并发向数据库中使用insert ignore插入数据，每条insert ignore语句包含7行数据。没想到上线开始跑脚本以后数据库出现不少锁表。根据innodb status log来看，锁住的是表的自增id主键。

调试了半天之后发现，原来是insert ignore的时候会对插入的每一行数据取S锁做unique id的检测，同时会对主键的自增id字段加写意向锁(insert intension)，在unique key较为复杂的时候，检测unique key的时候会一直占用主键的插入意向锁，其他insert ignore也想给主键id加插入意向锁，导致死锁。以上情况是在mysql 8.x中发现的，以前用低版本的mysql似乎没遇到过相关问题，所以不清楚低版本mysql的insert ignore是否有坑，但是8.x的版本最好insert ignore不要插入多行数据，尤其是unique key比较复杂的时候（有三四个字段共同组成）

真步
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mysql replace into 与 insert into on duplicate key update 死锁和性能测试
ryqiufeng0013的专栏
08-14 1万+
REPLACEINTO 测试           1   编写目的 1.  测试 replace into 引发死锁 2.  测试 replace 和INSET INTO  ***  ON DUPLICATE KEY UPDATE *** 性能差 2   数据库环境说明 1、 数据库系统： 名称：Mysql 5.5.31 引擎：innodb        字符集：UT
mysql-table_insertsql.zip
08-27
本资料"mysql-table_insertsql.zip"显然关注的是在MySQL中创建大表以及如何有效地插入数据，这在性能测试和数据加载场景中尤为关键。 首先，让我们深入理解“建表”这个概念。在MySQL中，创建表是通过SQL语句`...
mysql insert into (高并发插入时出现的问题) 解决
woshihaiyong168的博客
06-10 3万+
笔者最近工作中，遇到了一个问题就是笔者在给用户添加虚拟资源的时候出现了资源表中出现了uid 重复 如果按照代码梳理应该不会发生这种情况，但是抽奖程序在高量的并发下 出现了 用户id 重复 程序代码： $badge_data = DB::connection('active')->table('willow_player')->select('id', 'num')
比较原生sql: insert ignore和api: saveOrUpdateBatch()的效率
weixin_46550521的博客
03-18 2649
闲来无事，随便搞搞 开发当中常用的批量去重插入一个是原生的sql:insert ignore into,另一个是mybatis-plus的api:saveOrUpdateBatch(),对于这两种写法，我比较关注的是他们的效率。 saveOrUpdateBatch()上示例 public Result<Long> getSpeed(){ /*Long s = cpuInfoService.getSpeed();*/ List<CpuInfo> list
MySQL insert ignore into的坑
a984171281的博客
06-25 2887
公司有个需求，场景是存在则忽略掉该条数据，否则写入表。第一反应是用MySQL的insert ignore into。可以发现，如果设定的唯一索引的字段是null的话，第二次写入还是null，mysql不会按照重复insert处理。不知道是不是我的处理有问题，但是根据我后来排查数据发现，MySQL就只有这几条是重复的。sql语句是这样的，就是按照mysql的ignore insert写法。首先，你得确认插入的时候，vlaue语法后面的几个字段必须是。这个是我测试用的表，可以看到这三个字段是联合唯一索引。
MYSQL多种插入或修改的语法特性详解(replace into/insert ignore into/insert into on duplicate key update)
没有永恒的博客
06-10 1416
 业务背景在我们平常的业务场景中,可能有很多时候,需要对库操作进行增(未存在相应数据行)或者修改(已存在相应数据行),这时候,有人就会想到不管什么语言,我先查相应的库有没有这条行数据,再根据结果进行操作,不就完事了吗(已有的数据则修改,没有的数据则新增).能想到解决方案是好的,但是这种,先查后增或改的方案,存在很大的弊端,原因如下:        1、你先查后操作,这并不是原子性的,在多个线程进行...
在MySQL数据库中，这4种方式可以避免重复的插入数据！
qq_35956444的博客
10-20 286
https://mp.weixin.qq.com/s/W0Z0EkyEbbUt59yjHHPxcA
mysql8-winx64 .zip
02-20
5. **DML语句优化**：如`ON DUPLICATE KEY UPDATE`支持更多的列和子查询，以及更好的`INSERT IGNORE`行为。 6. **改进的性能**：包括更快的索引创建、优化的查询执行计划选择，以及对InnoDB存储引擎的性能提升。 7...
mysql insert语句操作实例讲解
09-10
MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令。它允许您根据需要向表中添加一行或多行数据。以下是对标题和描述中所述知识点的详细说明： 1. **基本INSERT语法**： INSERT语句的基本形式是`INSERT ...
mysql insert的几点操作(DELAYED,IGNORE,ON DUPLICATE KEY UPDATE )
09-11
MySQL中的`INSERT`语句是用于向数据库表中插入新数据的命令，它有多种变体，包括`DELAYED`, `IGNORE`, 和 `ON DUPLICATE KEY UPDATE`。这些选项提供了不同的处理策略，以适应不同场景的需求。 1. **DELAYED**： `...
逐步分析MySQL从库com_insert无变化的原因
09-10
MySQL从库中的`com_insert`计数器未变化的问题，通常是由于复制机制的不同配置或异常情况导致的。在MySQL的主从复制过程中，确保主库和从库的数据一致性至关重要。`com_insert`变量用于记录执行的`INSERT`语句数量，...
insert ignore into
兴趣是最好的老师
06-30 317
https://www.cnblogs.com/stevin-john/p/4768904.html
mysql 排除重复记录 insert 使用INSERT IGNORE into
创业的程序员
10-22 1万+
INSERT IGNORE 与INSERT INTO的区别 INSERT IGNORE 与INSERT INTO的区别就是INSERT IGNORE会忽略数据库中已经存在 的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据，达到在间隙中插入数据的目的。 eg: insert ignore into table(name) 
【一天一坑系列】Mysql中INSERT IGNORE INTO插入时去重无效，插入了重复数据
Yangy的博客
12-06 707
今天刚好有一个需求，需要插入数据时去重。所以第一下就想到了insert ignore into方法，但是使用过程中，发现虽然设置了唯一键，但插入时还是出现了重复插入的情况。具体信息如下，表的约束设置如下：有一个主键，和一个唯一键索引idx_s******，这个唯一索引是一个组合索引，里面由4个字段组成。前面4个字段，就是唯一索引的组合字段，所以正常情况下，插入应该是可以达到去重的效果的。然鹅，测试插入时，重复数据还是出现了。。。瞬间懵逼，开始找原因咯~~~
MySQL中的insert ignore into讲解
热门推荐
一缕阳光的博客
04-26 4万+
最近工作中，使用到了insert ignore into语法，感觉这个语法还是挺有用的，就记录下来做个总结。 insert ignore into : 忽略重复的记录直接插入数据。 包括两种场景： 1、插入的数据是主键冲突时 insert ignore into会给出warnings，show warnings就可以看到提示主键冲突； [test]> create table tt(c1 int primary key, c2 varchar(50))engine = xx; Query
尝试insert ignore into
arkblue的专栏
03-22 6031
对于主键冲突的时候，自动忽略当前要插入的记录。违反唯一性约束的时候，同样丢弃当前要插入的数据。 可以用在数据同步的场景，这个场景数据源只有insert 的Action，如果数据源含有update就会失败，不能同步update的更新字段。这样做到最终一直和幂等。 mysql> select * from test_table; +----+------+ | id | kk | +----+
mysql复杂的插入语句,MYSQL多种插入或修改的语法特性详解(replace into/insert ignore into/insert into on duplicate key update...
weixin_29223603的博客
03-18 1081
在我们平常的业务场景中,可能有很多时候,需要对库操作进行增(未存在相应数据行)或者修改(已存在相应数据行),这时候,有人就会想到不管什么语言,我先查相应的库有没有这条行数据,再根据结果进行操作,不就完事了吗(已有的数据则修改,没有的数据则新增).能想到解决方案是好的,但是这种,先查后增或改的方案,存在很大的弊端,原因如下:1、你先查后操作,这并不是原子性的,在多个线程进行操作的时候,比如线程1和线...
关于MySQL中insert ignore,insert on duplicate和replace into，你可能没想过区别
杨建荣的学习笔记
01-14 1164
这是学习笔记的第2187篇文章读完需要10分钟速读仅需5分钟在数据流转中或者日常的数据操作中，势必会有数据写入的过程，如果把一些数据写入一张数据库表中，如果写入量有100万，而重复的...
mysql inser into on_数据库避免插入重复数据需求解决：MySQL之insert、insert ignore、replace和insert into on duplicate key ...
weixin_30306285的博客
02-17 323
背景最近在做项目的时候，简单的后台增删改查，但是每次在做新增数据操作的时候，都需要校验一次数据库中是否存在相同的数据(唯一索引字段)，起初同时的做法是每次按照唯一主键作为条件去数据库中进行查询，如果存在，则不进行insert操作，如果不存在，则进行insert操作，这样做有两个弊端：每次进行insert操作之前都会有一步select操作，我们知道，数据库的io是比较耗性能的，尤其是在数据量比较大的...
MySQL的insert ignore into, replace into性能对比
最新发布
04-13
MySQL中的INSERT IGNORE INTO和REPLACE INTO是两种常用的数据插入方式，它们在性能上有一些区别。 1. INSERT IGNORE INTO： INSERT IGNORE INTO语句在插入数据时，如果发生主键冲突或唯一索引冲突，会忽略这条冲突的数据，而不会报错。这种方式适用于需要插入大量数据，但又不希望因为少数冲突数据而导致整个插入操作失败的情况。INSERT IGNORE INTO的性能相对较好，因为它只会检查冲突的数据，而不会对已存在的数据进行更新。 2. REPLACE INTO： REPLACE INTO语句在插入数据时，如果发生主键冲突或唯一索引冲突，会先删除原有的冲突数据，然后再插入新的数据。这种方式适用于需要更新已存在数据的情况。REPLACE INTO的性能相对较差，因为它需要先删除再插入，可能会导致额外的开销。 总体来说，如果你只关心插入操作的性能，并且不需要更新已存在的数据，那么使用INSERT IGNORE INTO会更好。如果你需要更新已存在的数据，那么使用REPLACE INTO是更合适的选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值