关于如何优化insert into (select ....) values (?, ?, ?)操作

已于 2022-10-05 17:15:16 修改
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 数据库 文章标签： 数据库 mysql sql
于 2022-10-05 14:52:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yxg520s/article/details/127172468
版权

insert into (select …) values (?, ?, ?)语句的性能问题

执行这个语句会使用排他锁 锁定select的源表的所有行，我们都知道一旦上了给表上了排他锁，就相当于升级为表锁，其他所有的对这个表的crud操作都要等待当前的锁解除武装之后才能进行，所以这条sql操作的性能是很差的。

可替代方案

另一种方法是替换掉insert…select 语句，使用select … into OUTFILE(导出数据到文件中，outfile是文件的路径名) 和 load data INFILE（从指定目录的文件下导入名为NFILE是文件）两条命令替换，这两条语句执行的操作是先将普通的不带锁的select查询结果输出到文件中，然后再从文件中加载数据，这样源表就无须上锁，极大的提高了性能。

改进方法的问题以及优化

改进方法的最大问题是为输出文件选择一个合适的名字，并且需要在连接关闭后删除这些临时文件，文件名的后缀可以是连接名，一般可以使用定时任务来清理当连结关闭后这些不再被使用的文件。
以上内容来自《高性能mysql p484》
在这里插入图片描述

xxx_520s
关注
专栏目录
大数据量下的数据库查询与插入如何优化？ （整理）
opzoonzhuzhengke的专栏
09-11 8379
数据库经常要做一些查询与插入，但是如果查询和插入的数据量过大的时候就会引发数据库性能问题，降低数据库工作效率。因此性能调优是大家在工作中都能够预见的问题，大到世界五百强的核心系统，小到超市的库存系统，几乎都会有要调优的时候。面对形形色色的系统，林林总总的需求，调优的手段也是丰富多彩。
MySQL批量SQL插入性能优化
weixin_34060299的博客
08-06 1336
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。1. 一条SQL语句插入多条数据。常用的插入语句如：INSERT INTO ...
insert into select 优化_手把手教你给 SQL 做个优化
weixin_39560924的博客
11-21 771
在开始之前，咱们要知道：如果我的 SQL 语句执行的足够快，还有没有必要去做优化？完全没有必要对吧所以我们一般说，要给 SQL 做个优化，那肯定就是这条 SQL 语句执行的比较慢了那么，为什么它会执行比较慢呢？SQL 语句执行较慢的 3 个原因没有建立索引，或者索引失效导致了 SQL 语句执行较慢这个应该是比较好理解的，如果数据比较多，在千万级别以上，然后呢又没有建立索引，在这千万级别的数据中查找...
MySQL性能优化21个最佳实践，一个一个分解给你看，还怕搞不定？
GitChat
05-28 508
数据库的操作越来越成为整个应用的性能瓶颈了，这点对于 Web 应用尤其明显。关于数据库的性能，这并不只是 DBA 才需要担心的事，而这更是我们程序员需要去关注的事情。当我们去设计数据库表结构，对操作数据库时(尤其是查表时的 SQL 语句)，我们都需要注意数据操作的性能。这里，我们不会讲过多的 SQL 语句的优化，而只是针对 MySQL 这一 Web 应用最多的数据库。希望本场chat介绍的的这些2...
mysql中 insert into...select语句优化
jkzyx123的博客
04-03 885
mysql中 insert into...select from table语句会锁table表对应数据，怎么优化？
mssql insert into 和insert into select性能比较
12-15
原因在于，`INSERT INTO...SELECT` 只执行一次数据库写操作，而 `INSERT INTO...VALUES` 需要为每一行数据执行一次。 然而，性能比较并不是唯一要考虑的因素。在某些情况下，如数据预处理、数据清洗或转换时，可能...
MySQL死锁记录(INSERT INTO ... SELECT.... )
qq_45872465的博客
03-19 3526
一、前言 在线上发布新功能后，追踪了日志记录，发现有死锁的报错记录。因业务复杂，仅简化问题，先将问题简化复原。特在此记录解决分析过程。 先抛出问题，后附解决方案； 事务A 事务B 1、 insert into user_01 (name,age) select name,age user_02 1、update user_02 set name = ‘lisi’ where id = ‘2’ 2、update user_02 set name = ‘lisi’ where id
SQL数据备份之CREATE TABLE+SELECT子句、select ... into ... from 和 insert into select
Lalalalazy的博客
02-02 2847
锵锵锵，我是小七黛，今日份笔记请查收！
MySql中IFNULL、CONCAT和INSERT INTO...SELECT FROM多表复制的介绍
纸上得来终觉浅,绝知此事要躬行
09-12 3185
这几天做一个功能，对数据库中存在的数据进行统计，涉及到多表操作，这让我想到之前在实习公司做的功能，都是统计和校验数据，我做的方法就是先将数据查找出来，然后循环操作！在实习公司做功能花了一个星期，然后我的Mentor看到后，无力的笑着对我说，“你这样做到后来会将数据库搞垮，数据几十万条，你一条一条的查找去吧，数据库能操作的就尽量用SQL搞定” 今天下午搞了个循环，晚上老大来检查的时候，也说，你这样不
MySQL查询优化
daxingsuo3996的博客
07-15 116
MySQL查询优化 Mysql存储引擎 最常使用的2种存储引擎: Myisam是Mysql的默认存储引擎，当create创建新表时，未指定新表的存储引擎时，默认使用Myisam。 每个MyISAM在磁盘上存储成三个文件。文件名都和表名相同，扩展名分别是.frm（存储表定义）、.MYD (MYData，存储数据)、.MYI (MYIndex，存储索引)。数据文件和索引文件可以放...
insert into select 优化_【数据库分享】MySQL数据库优化
weixin_39788572的博客
11-28 576
后台可回复【数据库】即可获取相关宝藏内容分享:)前言：Q: 为什么面试问你MySQL优化的知识 总是没有特别特别足的底气回复？？A: 因为你只是回答一些大而化之的调优原则,比如:”建立合理索引”(什么样的索引合理?)“分表分库”(用什么策略分表分库?)“主从分离”(用什么中间件?)并没有从细化到定量的层面去分析.如qps提高了%N? 有没有减少文件排序?语句的扫描行数减少了多少?ps:...
MySQL-02-2-SQL优化步骤+慢SQL分析
dark
06-04 484
【黑马程序员】2020最新MySQL高级教程 学习笔记 优化SQL步骤 在应用的的开发过程中，由于初期数据量小，开发人员写 SQL 语句时更重视功能上的实现，但是当应用系统正式上线后，随着生产数据量的急剧增长，很多 SQL 语句开始逐渐显露出性能问题，对生产的影响也越来越大，此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈，因此我们必须要对它们进行优化。 当面对一个有 SQL 性能问题的...
记录：一次insert into select的优化经历
li_yuan0613的博客
03-28 1320
今天遇到一个问题， t2表的数据复制到t1表 insert into t1 select * from t2; 执行了半个小时都执行不过去
INSERT 优化
星星_月亮的光芒
11-19 976
insert优化 要想提高insert的速度，首先要知道什么影响insert慢，在执行insert的过程中产生redo和undo，要想提高insert的速度，在充分利用系统资源的条件下就要尽量减少insert产生的redo和undo，undo的大小没办法改变，但是我们可以改变redo的量。下面是提高insert方法。 1. 增加hint /*+ append */ --不用在高水位
对一个MySQL存储过程的优化
weixin_34236497的博客
06-23 173
在编写MySQL存储过程的过程中，我们会时不时地需要对某些存储过程进行优化，其目的是确保代码的可读性、正确性及运行性能。本文以作者实际工作为背景，介绍了对某一个MySQL存储过程优化的整个过程。 在本文中，需要被优化的存储过程如下： drop p...
Insert into select语句把生产服务器炸了,Insert into select非常慢时如何优化
lg4546的专栏
09-11 2543
insert into select 的优化方案,当数据量比较大时候可以优化提高效率
数据库查询速度优化之解决技巧
Java之间
12-06 466
点击上方“Java之间”，选择“置顶或者星标”你关注的就是我关心的！来源：https://icocos.github.io/2019/03/11/数据库查询速度优化之解决技巧/上一篇：终...
mysql insert into select如何提升性能_MySQL自增列锁参数优化——innodb_autoinc_lock_mode
weixin_39654823的博客
12-05 546
概述今天主要讲讲innodb_autoinc_lock_mode这个参数。innodb_autoinc_lock_mode这个参数控制着在向有auto_increment 列的表插入数据时，相关锁的行为，我们可以通过对它的设置可以达到性能与安全(主从的数据一致性)的平衡官网：https://dev.mysql.com/doc/refman/8.0/en/innodb-auto-increment-...
mysql批量添加数据sql语句_MYSQL批量插入数据库实现语句性能分析
weixin_39997311的博客
01-19 4512
https://www.cnblogs.com/caicaizi/p/5849979.html假定我们的表结构如下代码如下CREATE TABLE example (example_id INT NOT NULL,name VARCHAR( 50 ) NOT NULL,value VARCHAR( 50 ) NOT NULL,other_value VARCHAR( 50 ) NOT NULL)通...
在SQL Server中，INSERT INTO ... SELECT 和 INSERT INTO ... VALUES 是两种用于向表中插入数据的常用语句，这两种方式有何不同？如何选择？
最新发布
09-24
在SQL Server中，`INSERT INTO...SELECT` 和 `INSERT INTO...VALUES` 是两个用于插入数据的不同方法： 1. **INSERT INTO...SELECT**: 这种方式适用于当你要从一个或多个现有的表或查询结果集中插入数据到目标表的情况。它通过复制源查询的结果并插入到指定的目标表中完成操作。例如： ``` INSERT INTO DestinationTable (Column1, Column2) SELECT SourceColumn1, SourceColumn2 FROM SourceTable; ``` 这种方法的优点是可以根据源表结构动态地填充目标表，并且可以包含复杂的计算和条件。 2. **INSERT INTO...VALUES**: 相反，`VALUES` 子句直接列出一组预定义的值，每一行对应表的一个记录。例如： ``` INSERT INTO DestinationTable (Column1, Column2) VALUES ('Value1', 'Value2'), ('Value3', 'Value4'); ``` 这种方法适合插入静态的数据集合，且每个插入项的列数和顺序需要和目标表完全一致。 选择哪种方式取决于具体情况： - 如果你已经有了明确的值列表，且列的顺序和类型已知，那么`VALUES`更简洁。 - 当你想根据现有数据动态生成新记录时，`SELECT` 更方便，特别是当你需要基于条件、函数或复杂查询来构造数据时。 - 如果数据是从其他外部源获取的，或者需要处理大量计算，`SELECT` 可能更适合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值