MySQL数据库Insert语句慢SQL处理

已于 2022-06-13 14:59:53 修改
阅读量3.8k 收藏
点赞数 2
分类专栏： MySQL 文章标签： 数据库
于 2022-04-06 11:25:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45644548/article/details/123985730
版权

问题描述

insert into …普通的插入语句，经常出现耗时2s以上

数据状态

1.表数据量大，每天产生200万条数据
2.高并发插入

问题解决

1.由于表中数据量庞大，建议数据归档处理，冷热处理
2.表中有过多索引，当数据insert时，索引会重排产生太多的io操作。导致缓慢，有必然要的只保留主键。
3.表的数据库引擎，默认InnerDB，若数据不重要，可以使用MyISAM
4.注意字段text使用，内存过大会引起表膨胀，影响插入和查询效率

weixin_45644548
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql in
03-20
mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql insert语句mysql inse
Insert Into语句执行特别慢的问题，及解决记录
weixin_41740618的博客
02-26 5792
今天执行了一个insert 语句，但是特别慢，只有1100条记录，但是执行了15分钟，经过努力缩短为0.05秒。 语句如下： Insert Into table1 select * from view1 where view1.period=‘1912’; 我一开始查了table1，看他的各种设置，什么catch，nologging之类的，后来又查了view1里面的table，发现有没什么问题。 ...
如何提高mysql插入速度_mysql技巧：提高插入数据(添加记录)的速度
weixin_29267307的博客
02-05 1429
问题描述： 普通台式机，采集数据，表中已经有1000万数据量。 采集回来的数据插入表中的时候很慢，每条约100毫秒。 解决方法： 1、加大mysql配置中的bulk_insert_buffer_size，这个参数默认为8M bulk_insert_buffer_size=100M 2、改写所有insert语句为insert问题描述：普通台式机，采集数据，表中已经有>1000万数据量。采集回来...
MySQL8.0执行insert插入数据用时不稳定有时很慢的原因及解决
IT技术领域深耕10年+，北京大厂闯荡5年+
03-25 921
在MySQL中系统默认的设置是sync_binlog=0，也就是不做任何强制性的磁盘刷新指令，这时候的性能是最好的，但是风险也是最大的。因为当设置为1的时候，即使系统Crash，也最多丢失binlog_cache中未完成的一个事务，对实际数据没有任何实质性影响。不过也有其它的一些配置项：innodb_buffer_pool_size，innodb_log_file_size，max_connections，innodb_flush_method，sync_binlog，thread_cache_size。
java向mysql写入数据慢_mysql插入数据变慢的原因
weixin_36459547的博客
01-19 1377
mysql插入数据变慢的原因：1、由主码、外码、索引造成的插入效率降低；2、由于使用for循环不停执行这个方法来插入；3、未能及时释放查询结果。最近的项目需要导入大量的数据，插入的过程中还需要边查询边插入。插入的数据量在100w左右。一开始觉得100w的数据量不大，于是就插啊插，吃了个饭，回来一看，在插入了50多w条数据后，每秒就只能插10条了。。觉得很奇怪，为啥越插越慢呢？ 于是就开始分析插入...
insert 插入耗时异常问题（1）
渔夫数据库笔记
04-24 1707
1.数据库版本 8.0.13(阿里云polardb) 2.问题发现 监控发现某时刻数据库活跃连接突然上升，查询发现当时有一张表上有大量并发的倒排序查询，及并发insert操作(每个insert语句只是插入一条记录)，截图如下： 具体现象是某个倒排序查询批量出现，并且查询时间很长时(正常情况下该倒排序查询效率很高，很可能是因为order by limit选择执行计划导致某些时候执行效率很低)。会同时出现这张表上的insert操作耗时异常(插入一条记录可能耗时几秒到几十秒)。倒排序插入语句类似如下.
MySQL千万级数据库数据插入insert速度加速调优
HD243608836的博客
12-02 1万+
问题描述： 普通台式机，采集数据，表中已经有>1000万数据量。 采集回来的数据插入表中的时候很慢，每条约100毫秒。 解决方法： 1、加大mysql配置中的bulk_insert_buffer_size，这个参数默认为8M bulk_insert_buffer_size=100M 2、改写所有insert into语句为insert delayed into 这个insert delayed不同之处在于：立即返回结果，后台进行处理插入。 3、还有一个技巧是在一条insert中插
Mysql-Insert插入过慢的原因记录和解决
weixin_45203607的博客
08-18 9788
我们还可以在代码中,手动开启事物也就是相当于希望事物内执行的语句要作为一个“不可分割”的整体去执行的任务当所有任务完毕后在提交事物,当然这样是没有批量插入快的但是也能节约不少时间的。因为批量插入其实就是访问一次数据量告诉数据库我需要执行这1000条的插入,而不是访问1000次数据库告诉数据库我要执行1条的插入所以使用批量插入大大的缩减客户端与数据库之间的连接、关闭等消耗 , 所以我们在上面的方案中使用一次提交批量数据的更新的语句,那么还有没其他的方式呢?...
MySQL的insert执行操作慢，该怎么整？
bisal的专栏
09-22 5151
作为运维人员，可能经常碰到"应用慢了"、"数据库慢了"，需要定位、排查、解决，因为技术栈不同，不可能套用某一个通用的方案，但是排查路径上，有些是可以相互借鉴的，写过一些历史文章可以参考，《应用执行慢的问题排查路径》《应用执行慢的定位案例》爱可生开源社区的这篇文章《技术分享 | 客户说 insert 慢，我该怎么办》讲了一个MySQL中insert慢的问题排查和解决过程，借鉴一下。唠嗑环节前段时间客...
MySQL源码分析-常见报错以及insert缓慢原因分析
⛄沉淀分享成长--长久的沉淀势必会收获到你想要的，那些旅途上的果实
05-02 3735
👩‍💻博客主页：大家好我是poizxc2014的博客主页 ✨欢迎关注🖱点赞🎀收藏⭐留言✒ 📖个人主页：poizxc2014的博客_CSDN博客-数据库,mysql,java领域博主 💻首发时间：🎞2022年05月01日🎠 🎨你做三四月的事，八九月就会有答案，一起加油吧 🔥💖🔮😘🔏🀄🎧如果觉得博主的文章还不错的话，👍请三连支持一下博主哦🤞 如果觉得博主的文章还不错的话，请三连支持一下博主哦 最后的话，在很多方面还做的不好的地方，欢迎大佬指正，一起学习哦，冲冲冲 目录 1、insert几个可..
postgresql 数据库 INSERT 或 UPDATE 大量数据时速度慢的原因分析
gouzhengju1454的博客
07-18 4986
postgresql 数据库 INSERT 或 UPDATE 大量数据时速度慢的原因分析
一个insert插入语句很慢的优化
热门推荐
sysmedia的博客
02-09 1万+
一个insert插入语句很慢的优化 原sql语句： INSERTINTO RISKREPT.BASE_FMLG (BATCH_DATE,DATE_STAMP_ST,TIME_STAMP_ST,ORG,ACCT,CARD_NBR,CARD_SEQ,MER_ORG,MER_NBR,REQUEST_TYPE_ID,LOGO,SYSTEM_ACTION,FINAL_ACTION,ACTION_RE
详解MySQL数据库insert和update语句
09-10
用于操作数据库的SQL一般分为两种，一种是查询语句，也就是我们所说的SELECT语句，另外一种就是更新语句，也叫做数据操作语句。接下来通过本文给大家介绍MySQL数据库insert和update语句，需要的朋友一起学习吧
Python 数据库Insert语句脚本生成工具（SQL Server）
12-22
编写这个小工具，是因为平时部署项目的时候，需要导出一些公共的数据（权限、参数设置等），覆盖插入正式环境。 话不多说，直接上代码： import pyodbc import warnings import decimal import winreg import os import configparser import time import datetime warnings.filterwarnings('ignore') def link(): root_dir = os.path.split(os.path.realpath(__file__))[0]# 获取当前文件所在目录
MySQL数据库中创建学生表SQL语句
10-31
mysql数据库创建学生表 这个SQL语句会创建一个名为 "Students" 的表，其中包括以下列： • StudentID: 学生的唯一标识，使用 AUTO_INCREMENT 进行自动递增，作为主键。 • FirstName: 学生的名字，限制为最大长度为...
【课堂练习】
JacksonLeo的博客
04-29 510
虽然现代JVM的垃圾回收机制已经非常高效，但是在性能敏感的场合，仍然需要注意对象的创建频率。例如，在SysLogininforMapper中的deleteLogininforByIds方法，如果处理大量ID时，应考虑使用批处理技术，而不是循环单条处理。例如，在SysMenuMapper中的查询方法，如果涉及到复杂的查询条件或者大量数据的查询，应确保SQL语句的优化和索引的使用。异常处理：代码中应该有更明确的异常处理逻辑，比如使用try-catch块捕获可能的异常，并进行适当的处理，如记录日志、回滚事务等。
MySQL数据库练习(6)
a1677179的博客
04-29 295
MySQL数据库练习(6)
java线上问题排查之磁盘和网络查看分析（二）
wayne_youlu的博客
04-30 474
overflowed 标识全连接队列溢出的次数,最前面是0，标识没有队列溢出的情况，网络环境正常。来查看网络是否连接。如果出现下图内容，则证明网络已经连接。
【Redis】RDB持久化和AOF 持久化
最新发布
wmh的博客
05-06 282
RDB (Redis Database Backup file)：数据快照默认保存在运行目录# 主进程保存快照（阻塞） save # 子进程保存快照 bgsaveRedis 停机时会执行一次RDB。AOF (Append Only File)：命令日志。
实验 1 mysql 数据库 sql 语句练习实验
08-20
实验1 Mysql数据库SQL语句练习实验主要是为了帮助学习者熟悉使用Mysql数据库的SQL语句。通过实践练习，学习者可以掌握SQL语句的基本语法和常用操作，进一步理解数据库的概念和原理。 在实验中，学习者将使用Mysql...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值