记录一次mysql批量新增调优

最新推荐文章于 2023-03-14 16:49:57 发布
最新推荐文章于 2023-03-14 16:49:57 发布
阅读量83 收藏
点赞数
文章标签： mysql java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43711352/article/details/115210786
版权

记录一次mysql批量新增调优

问题背景

  1. 需要通过java向mysql批量插入5w条数据
  2. java为批量插入，一次插入1000条数据
  3. 插入一条的执行速度为90s

问题解决

  1. 调整了mysql的参数

bulk_insert_buffer_size = 120M
Max_allowed_packet = 1M
Net_buffer_length = 8k

调整以后没有什么效果
  1. 调整了innodb的并发写入读取数量

innodb_wirte_io_threads = 4
innodb_read_io_threads = 4

调整以后执行速度为几十毫秒，提升速度明显

缺点

CPU的占用会明显升高
htk12138
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
关于QT5 SQLITE中QSqlQuery::exec: database not open的问题的解决方法
l412998149的博客
01-15 2万+
最近在用QT5自带的SQLITE时，遇到一个无法创建查询的问题，具体表现为执行prepare（）时会返回一个QSqlQuery::exec: database not open，以及使用.getlasterror时得到 driver not loaded 错误。具体解决方法为添加一行代码： QSqlQuery sql_query(database_); 即可解决问题。 下面给出相关程序
c mysql 批量插入_c#之mysql四种带事务批量插入
weixin_32256355的博客
01-19 1017
前言对于像我这样的业务程序员开发一些表单内容是家常便饭的事情，说道表单 我们都避免不了多行内容的提交，多行内容保存，自然要用到数据库，如果循环打扰我数据库，数据库也会觉得很累，从而增加数据库服务器压力。所以小子不才，根据平时经验总结了一下用到的批量插入的方法代码。本文是针对c#语言开发，数据库是mysql数据库。当然我这是单片机的本地电脑运行，跟服务器上有很大区别，到了服务器上可能跑的比这快的多，...
OpenCV+Python系列教程
yhm19930110的博客
03-13 1006
OpenCV+Python系列教程1、系统环境配置新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 1、系统环境...
Endnote导入没反应
weixin_43501408的博客
03-14 9579
问题描述：之前下载了endnote英文版的，导入endnote文献，发现并没有反应，然后就以为软件坏了，然后重新装了一个中文版的，发现还是导入不进去。解决办法：文件→导入→文件→endnote导入。
启动OpenOffice服务
weixin_30609287的博客
08-13 727
下载安装 安装OpenOffice 4.1.6：下载路径：http://www.openoffice.org/zh-cn/download/ 启动 用以下命令启动OpenOffice服务，注意ip，如果需要给局域网内其他人连接需要写局域网ip windows cd D:\ProgramFiles_QY\OpenOffice 4\program soffice -hea...
Mysql使用insert插入多条记录 批量新增数据
12-16
在MySQL数据库中，批量插入数据是一项常见的操作，特别是在处理大量数据时，批量插入可以显著提高效率。本篇文章将深入探讨如何正确使用`INSERT`语句来插入多条记录，并讨论相关的优化策略。 首先，让我们来看一下...
SpringBoot使用mybatis批量新增500万数据到mysql数据库Demo
最新发布
07-02
1. **批量插入（Batch Insertion）**：Mybatis支持批处理，可以一次性提交多条SQL语句，减少与数据库的交互次数，提高效率。在Mybatis的映射文件中，可以通过`<insert>`标签的`useGeneratedKeys`和`keyProperty`属性...
Mysql调优大全梳理（涵盖90%需要调优的场景）
qq_45455361的博客
02-20 7789
前言 学习这个文章需要具备一定的理论基础，不妨先来看一下我这篇文章《一文道尽数据库底层原理，探讨Mysql调优之道》 1.Join语句优化 Join语句相关算法 算法1：Nested-Loop Join（NLJ） 这种算法称为“嵌套循环Join”，大致是这样玩的： Table Join Type t1 range t2 ref t3 All for each row in t1 matching range{ for each row in t2 matching refere
MySQL调优之SQL语句：如何写出高性能SQL语句？
Java_Cappuccino的博客
05-19 563
MySQL 数据库是互联网公司使用最为频繁的数据库之一，不仅仅因为它开源免费，MySQL 卓越的性能、稳定的服务以及活跃的社区都成就了它的核心竞争力。 我们知道，应用服务与数据库的交互主要是通过 SQL 语句来实现的。在开发初期，我们更加关注的是使用 SQL 实现业务功能，然而系统上线后，随着生产环境数据的快速增长，之前写的很多 SQL 语句就开始暴露出性能问题。 在这个阶段中，我们应该尽量避免一些慢 SQL 语句的实现。但话说回来，SQL 语句慢的原因千千万，除了一些常规的慢 SQL 语句可以直接规避，其
closeChannel: close the connection to remote address[] result: true
ybb_ymm的专栏
02-27 8354
Springboot集成RocketMq搭建消息中间件服务，开发完成，测试的时候忽然间，在控制台不断地打印 closeChannel: close the connection to remote address[] result: true从表面意思可以看出是：无法连接RocketMq的服务。
rocketmq应用服务报错处理方案INFO RocketmqRemoting - closeChannel: close the connection to remote address[]
qiaodaima0的博客
11-18 8877
rocketmq异常错误
RocketMq closeChannel: close the connection to remote address[] 排查记录
weixin_39195030的博客
07-25 1万+
由于对netty了解并不太深刻，且name-server服务正常，目前没有分析出是何种情况触发了channel的close事件，后续将在进一步完善netty及rocketmqnetty等相关知识后再做进一步的分析。关于版本问题，由于服务client使用4.7.1版本，nameserver使用4.5.0版本，尝试降低本地版本，日志问题依然存在。由于该日志不影响服务及业务，暂时我们可以通过屏蔽该日志去解决，您可在您的log4j.xml中新增如下配置。close()方法，因此会触发上述日志的打印。...
Qt中的QSqlQuery::exec: database not open
qq_42027094的博客
07-17 2843
QSqlQuery::exec: database not open 出现这个问题是你的类QSqlQuery未指定链接 添加QSqlQuery query(db); 即可
QSqlQuery::exec: database not open
热门推荐
晴天的专栏
07-28 2万+
你要是封装成类的时候出现这种问题 要这样写 db = QSqlDatabase::addDatabase("QSQLITE"); db.setDatabaseName("dbTemp"); …… query=QSqlQuery::QSqlQuery(db);//连接数据库  就加上这句
mysql 批量修改调优
04-02
批量修改调优可以通过以下几个步骤实现： 1. 分析查询语句，找出需要优化的语句，分析查询计划，找出慢查询。 2. 对慢查询进行优化，可以通过以下几个方面进行： - 优化查询语句，避免使用不必要的关联或子查询。 - 添加索引，提高查询效率。 - 调整 MySQL 的配置参数，如缓存大小、连接数等。 3. 对于需要批量修改的数据，可以使用 MySQL 的 UPDATE 语句进行修改。但是，在进行批量修改之前，需要确保修改操作不会影响到其他数据或表的完整性，并备份数据以防止修改错误。 4. 可以通过使用 MySQL 的 explain 命令来分析查询计划，找出需要优化的查询语句。 5. 最后，需要测试修改后的查询语句和数据是否正常，确保没有出现数据丢失或错误的情况。 综上所述，批量修改调优需要对查询语句和 MySQL 的配置参数进行优化，并确保修改操作不会影响到其他数据或表的完整性。同时，需要备份数据以防止修改错误，并测试修改后的查询语句和数据是否正常。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值