百万级别数据批量插入 MySQL，哪种方式最快？

最新推荐文章于 2024-01-30 10:11:50 发布
最新推荐文章于 2024-01-30 10:11:50 发布
阅读量3k 收藏 25
点赞数 7
分类专栏： Mysql 文章标签： mysql 百万数据批量插入 事务 mybatis jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48333563/article/details/124885951
版权

3种策略

源码地址

源码

Mybatis 轻量级框架插入-数据量500W

用时：9.17m
在这里插入图片描述

JDBC直接处理-数据量10W

JDBC开启自动提交

用时：13.18m 平均：41s/w
在这里插入图片描述

JDBC关闭自动提交

用时：8.955s 平均：0.4s/w
在这里插入图片描述

采用JDBC批处理-数据量100W

自动提交

用时：6.981s 平均：0.7s/w
在这里插入图片描述

关闭自动提交

用时：6.880s 平均：0.7s/w
在这里插入图片描述

JDBC批处理-数据量100W

自动提交

用时：34.329s 平均：2~6s/w
在这里插入图片描述

关闭自动提交

用时：33.672s 平均：2~4s/w
在这里插入图片描述

总结：

撇去是否开启自动提交事务：
用时：
Mybatis>JDBC直接处理>JDBC批处理
同等策略中：
JDBC直接处理自动提交>JDBC直接处理关闭自动提交
JDBC批处理-100w级别数据自动提交≈JDBC批处理-100w级别数据关闭自动提交，但是随着数据量的提升：
JDBC批处理-500w级别数据自动提交>JDBC批处理-500w级别数据关闭自动提交

Fire king
关注
  • 7
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
MySQL创建存储过程批量插入10万条数据
01-19
MySQL创建存储过程批量插入10万条数据 存储过程 1、首先防止主键冲突，我们清空表。 TRUNCATE table A_student; 2、编写存储过程 delimiter ‘$’; CREATE PROCEDURE batchInsert(in args int) BEGIN declare i int default 1; start TRANSACTION; while i <= args DO insert into A_student(id,name) VALUES (i, concat(“陈瓜皮-”, i)); set i = i+1; end while; COMMIT;
（转）批量插入 MySQL，哪种方式最快？
光遇帝君的博客
05-17 1083
批量插入 MySQL
三分钟搞定向MySQL插入百万级数据
最新发布
工作、学习、生活分享
01-30 918
三分钟搞定向MySQL插入百万级数据
五百万数据 mysql count（*）优化
MariaOzawa的博客
04-11 6431
一、故事背景 有一张 500w 左右的表做 select count(*) 速度特别慢。 二、原 SQL 分析 Server version: 5.7.24-log MySQL Community Server (GPL) SQL 如下，仅仅就是统计 api_runtime_log 这张表的行数，一条简单的不能再简单的 SQL： select count(*) from api_runtime_log; 我们先去运行一下这条 SQL，可以看到确实运行很慢，要 40 多秒左右，确实很不正常~ mysql
)每天500w条log如何入mysql库比较靠谱
10-31 173
Database • iceskysl • 于1年前发布 • 最后由 ashchan 于1年前回复 • 2172次阅读 我们有个产品，每天差不多500w的业务量，需要对500w做相关的分析，就需要入库～ 目前用的是mysql 按月切表定期老化数据，但是导入数据情况比较糟糕～每天导入数据差不多需要20个小时，和MySQL 5000 records/second差距巨大～
java使用jdbcTemplate查询并插入百万级数据解决方案
qq_36635569的博客
09-08 2314
我们拿到ResultSet后，每次只读取10000条数据存到List中，然后将这些数据插入数据库，在插入结束之后清空这个List，jvm会回收这些数据释放内存，一直重复这个过程直到结果集读取完毕，就避免了内存泄漏的情况产生。我们使用jdbcTemplate的batchUpdate方法批量保存数据时，要想真正进行批量保存需要几个条件。因此我们需要写一个实现类继承ResultSetExtractor，去实现读取ResultSet的逻辑。背景：使用JdbcTemplate查询500万数据，然后插入到数据库。
MySql插入百万级数据的几种方法
yudian1991的博客
07-05 1万+
MySQL插入大批量数据, MySQL插入百万级数据, MySQL表中插入百万数据
mysql本地导入数据（可导入百万条数据）
jack__love的博客
10-26 5302
mysql本地导入数据（可导入百万条数据）
MySQL十秒插入百万条数据
热门推荐
莫绝岚的小屋
11-14 2万+
mysql 十秒快速插入百万条数据 用时：62分钟多 方式一、二总结：到此可以看出其实其处理程序及批处理是没有起作用的，为此我们使用方式三 方法三较于方法二的改变是只是url地址上的改变，其它没有任何修改 用时：【10秒左右】
MySQL 通过存储过程高效插入100w条数据
kerwin的博客
09-30 5376
MySQL 通过存储过程高效插入100w条数据
java大数据插入数据库时间测试（消耗的时间跟硬件）
记录代码生活
08-18 751
1.直接循环插入100万条数据 pstmt = getConn().prepareStatement("insert into bigdata values (?,?,?)"); long bTime = System.currentTimeMillis(); for (int i = 0; i < 1000000; i++) { pstmt.setString(1,"id"+i); pstmt.setSt
使用JDBC在MySQL数据库中如何快速批量插入数据
01-19
使用JDBC连接MySQL数据库进行数据插入的时候，特别是大批量数据连续插入（10W+），如何提高效率呢？ 在JDBC编程接口中Statement 有两个方法特别值得注意： void addBatch() throws SQLException Adds a set of ...
JDBC连接MySQL数据库批量插入数据过程详解
08-25
主要介绍了JDBC连接MySQL数据库批量插入数据过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
java 下执行mysql 批量插入的几种方法及用时
09-08
java 下执行mysql 批量插入的几种方法及用时,1000次插入方法的比较。
MYSQL开发性能研究之批量插入数据的优化方法
12-16
但是当我们需要批量插入数据的时候，这样的语句却会出现性能问题。例如说，如果有需要插入100000条数据，那么就需要有100000条insert语句，每一句都需要提交到关系引擎那里去解析，优化，然后才能够到达存储引擎做真...
MySQL深度翻页和底层执行原理之间的关联和优化思路
m0_48333563的博客
10-06 1169
MySQL深度翻页和底层执行原理之间的关联和优化思路，从底层原理剖析。自下而上，理解更通透。
揭秘Mysql事务隔离级别之可重复读
m0_48333563的博客
12-24 1030
揭秘Mysql事务隔离级别之可重复读1.可重复读的来源2.何为不可重复读3.那么可重复读和不可重复读究竟有什么关系呢？4.模拟不同事务隔离级别对不可重复的处理情况（有线程执行顺序）。4.1.读已提交级别：4.2.可重复读级别：5.总结 1.可重复读的来源 知其源可以知其流,而因其流亦可溯其源，欲搞清楚什么是可重复读，必先知道可重复读是怎么来的的，这就引出了不可重复读。 2.何为不可重复读 老师说过，了解一项技术或搞懂一个名词的最佳方法是百度百科，因此献上百度百科： 注意划线部分，这是重点，敲黑板啦！！！
mysql索引优化知识点
m0_48333563的博客
02-16 597
中心主题 通过索引进行优化 想要了解索引的优化方式，必须要对索引的底层原理有所了解 索引基本知识 索引的优点 1、大大减少了服务器需要扫描的数据量 2、帮助服务器避免排序和临时表 3、将随机io变成顺序io 索引的用处 1、快速查找匹配WHERE子句的行 2、从consideration中消除行,如果可以在多个索引之间进行选择，mysql通常会使用找到最少行的索引 3、如果表具有多列索引，则优化器可以使用索引的任何最左前缀来查找行 4、当有表连接的时候，从其他表检索行数据 5、查找特定索引列的
mysql批量插入哪种快
09-22
mysql批量插入有多种方法可以实现，其中比较常用的有两种：使用多个VALUE子句和使用LOAD DATA INFILE语句。使用多个VALUE子句是一种逐条插入的方式，需要在INSERT语句中多次指定VALUES子句，这种方法适用于需要插入...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Fire king

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值