MySQL不同插入方式性能对比实验

于 2024-01-21 23:16:21 发布
阅读量694 收藏 9
点赞数 9
分类专栏： 项目 java后端 文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44562957/article/details/135737416
版权

最近负责的项目需要数据同步入库MySQL，为了测速那种入库方式效率比较高，为此进行了以下的对比实验，在此记录一下

实验表单数据格式

在这里插入图片描述
在这里插入图片描述

实验代码

共三种方法对比
在这里插入图片描述

mutiSqlInsert:

一条一条插入，最后一次提交

在这里插入图片描述

singleSqlInsert：

用for循环拼接好插入sql，一次执行

在这里插入图片描述

executeBatchInsert：

使用MySQL提供的方法executeBatch()，同样使用一次提交
在这里插入图片描述

实验结果

1W条数据插入

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert

在这里插入图片描述

10W条数据插入

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert
在这里插入图片描述

2000条数据插入(当前kafka设置的单次最大拉取数为2000)

Kafka配置截图
在这里插入图片描述

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert

在这里插入图片描述

结论

在一次性拉取数据较少时，mutiSqlInsert和executeBatchInsert的性能相差不大
当一次性插入数据非常多时，比如10W条，singleSqlInsert的性能会急剧下降，甚至不如mutiSqlInsert

关于10W条数据插入时singleSqlInsert的性能会急剧下降的原因，参考此文
https://blog.csdn.net/Tom_sensen/article/details/127922964

在这里插入图片描述

打孔猿
关注
  • 9
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
MySQL批量SQL插入性能优化
崔成龙 . 勇往直前
02-28 3万+
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。 经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。 1. 一条SQL语句插入多条数据。 常用的插入语句如： INSERT IN
MySQL单表插入&查询性能测试
编程旅者
06-02 992
MySQL单表插入&查询压力测试
MySQL优化：批量插入大数据4种实用、讲究方案的测试
彼岸尚有荣光在，应不断记录总结！！！
03-29 9712
记录MySQL插入大数据一些方案的测试心得，即for循环插入、拼接SQL语句、批量插入saveBatch()、循环插入 + 开启批处理模式，该4种情况的测试内容，最终以平均耗时来预测各方案的性能问题，可得知开启批处理模式的方案效率是最高的，但是必须注意一个点：一定要开启批处理模式，在URL地址加入rewriteBatchedStatements = true 参数，否则即使是在批量插入情况下，也是无法发挥该方法优点。
数据库执行提交方式——batch, 非batch的性能比较
blackchoc
05-18 825
昨天被质问了java中sql在执行的时候executeBatch 和 单个提交的性能差异，没有回答出来。以前只是知道有性能差异，但是性能差异具体是啥数量级别还真实没有做过实验。今天抽时间做了一下这个实验 * oracle数据库9i2* 采用proxool连接池管理* 测试的表为很简单的表，总共只有5列* 测试为insert语句，向测试表中插入了3列值* 数据量为1w  
Java 3种批量插入更新操作的效率横向比较
码农书生
06-05 4506
以前总是说批量插入和更新的效率比非批量的要高，但是到底高多少，没有评估过，今天我就具体的测试下 （1）三种插入操作的方法 1.1 利用for循环的批量插入 示例xml <insert id="insertUser"> insert into test_user (u_name,create_date) value (#{userName},SYSDAT...
MyBatis批量插入数据优化,增加一个参数，效率提升百倍
最新发布
java架构师进阶之路的博客
05-04 4518
MyBatis批量插入数据优化,增加一个参数，效率提升百倍，优雅。
10万条数据批量插入，到底怎么做才快？
qq_43180019的博客
11-16 1945
1. 思路分析 批量插入这个问题，我们用 JDBC 操作，其实就是两种思路吧： 用一个 for 循环，把数据一条一条的插入（这种需要开启批处理）。 生成一条插入 sql，类似这种 insert into user(username,address) values(‘aa’,‘bb’),(‘cc’,‘dd’)…。 到底哪种快呢？ 我们从两方面来考虑这个问题： 插入 SQL 本身执行的效率。 网络 I/O。 先说第一种方案，就是用 for 循环循环插入： 这种方案的优势在于，JDBC 中的 Prepa
mysql单表狂 insert极限：已实现每秒插入2.5w条数据
weixin_42145856的博客
01-24 4033
很多同学都有这样的困扰： 工作中项目的数据量不大，遇不到sql优化的场景：单表就几万，我优化个der啊； 业务对性能要求不高，远远没达到性能瓶颈：咱这项目又不是不能跑，优化个der啊； 确实，如果你的项目体量不大，不管是数据层还是应用层，都很难接触到性能优化 但是 我们可以自己造数据啊 今天我带来了一个demo，不仅让你能把多线程运用到实际项目中，还能用它往数据库造测试数据，让你体验下大数据量的表优化 定个小目标，今天造它一亿条数据 首先搞清楚，不要为了用技术而用技术，技术一定是为了实现需求： 插入.
由批量插入和单条插入的性能引起的反思
耐得住寂寞，才能受得住繁华
08-18 4886
批量插入比一条一条的插入性能高原因如下： 批量插入SQL执行效率高的主要原因是合并后日志量（MySQL的binlog和innodb的事务让日志） 减少了，降低日志刷盘的数据量和频率，从而提高效率。通过合并SQL语句，同时也能减少SQL语句解析的次数，减少网络传输的IO。 ps：对于innodb，所有未提交的的二进制日志会被记录到一个缓存中去，等该事物提交时，直接将缓存中的二进制日志写入二进制...
mysql单表数量极限和性能
fei33423的专栏
08-27 1万+
账户流水表 mysql> select count(1) from account_log; +-----------+ | count(1)  | +-----------+ | 393625073  +-----------+ 1 row in set (1 min 6.98 sec)        dao层方法          每分钟请求数          毫秒数 1.
MySql 插入(insert)性能测试 zt
afeyfre41671的博客
05-06 263
MySql 插入(insert)性能测试 作者：赵磊 博客：http://elf8848.iteye.com 测试环境： 笔记本电脑 CPU：I5 系统：MAC OS 10.7 内存：8G 硬盘：5400转，笔记本硬盘 MySql版本：Oracle官网下载的mysql-5.5.24-osx10.6-x86_64， 默认安装 MySql JD...
mysql插入性能测试
luoqinglong的专栏
02-16 1628
一、环境 vm虚拟机,centos7,MySQL5.7,jdk8 两台机器是局域网 二、测试代码 数据表：16个分表，表结构是20个字段，15个字段的长度是100个字符填充。 使用java直接连接数据库，用多线程测试，每个线程一个数据库连接，事务自动提交。每个线程完成批量插入后才关闭连接。 mysql没有进行线程优化，都是使用默认配置。 三、测试数据 1、1核，单表，innoDB ...
Mysql单表性能测试（分表依据）
爱科学，爱生活
04-14 2703
/** 本部分内容来自网络 数据在mysql中，大约10个字段，预计达到300万条。网站注册时需要在这300万条记录中找到相匹配的；如何做到优化？ 500W分表，已经到300W了，应该储备知识，做好分表打算了。 mysql单表达到1000W到2000W的时候还能提供较好的服务，目前线上有一张表1000W多点，还没有出现性能问题，多张表在几百万的数据，开始考虑分表了，如果表比较简单，索引合理
疯狂试探mysql单表insert极限：已实现每秒插入8.5w条数据
热门推荐
成都彭于晏
12-06 4万+
一个demo让你将多线程运用到实际项目，完事还能利用它给你造测试数据，不香吗
MySQL单表优化
JustinNeil的博客
08-04 2269
MySQL单表优化单表优化概述字段优化索引优化SQL语句优化引擎优化系统调优参数升级硬件 单表优化概述 当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以在以下几个方面进行优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度， 一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。 而事实上很多时候MySQL单表的...
影响MySQL性能的一张表
三哥的专栏
07-30 338
单数据库实例，因为一张单表影响到数据库性能。全量备份时间10分钟+，备份时候锁表，查询速度缓慢。此处记录只记录一个分析数据库性能下降的一种分析方式。由于平时用的不多，其他相关系统记录有相关日志，此处暴力干掉备份进程（每个小时备份一次，平时基本上不会用到备份文件），然后登录MySQL客户端指定使用数据库执行truncate logs_interfacelogs SELECT ...
mysql千万级数据库插入速度和读取速度的调整记录
火侬智能科技
12-22 3万+
http://www.111cn.net/database/mysql/43315.htm 一般情况下mysql上百万数据读取和插入更新是没什么问题了，但到了上千万级就会出现很慢，下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧。   （1）提高数据库插入性能中心思想：尽量将数据一次性写入到Data File和减少数据库的checkpo
mysql的插入性能真的这么差吗？
王鹤霖的专栏 三人行必有我师
06-24 655
单条插入，三个字段，一般情况下可以轻松可以上万，除非表特别大：比如表中已经有千万级别数据 另外：插入时，最好能够顺序插入（auto_increment primary key就OK），其它，innodb_flush_log_at_trx_commit对插入性能影响也比较大，设置为1意味着最好的数据安全性，但同时由于每次写入都会fsync导致性能不是很好，这个需要根据业务特点来综合考虑 innodb_buffer_pool_size默认开小了，稍微调大点这种简单插入每秒几万吧。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

打孔猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值