mysql百万级数据保存方法对比

最新推荐文章于 2024-05-19 03:18:57 发布

NDSC流氓

最新推荐文章于 2024-05-19 03:18:57 发布

阅读量212

点赞数 1

文章标签： mysql

本文链接：https://blog.csdn.net/qq171563857/article/details/130048462

版权

背景

主键采用雪花ID, 测试数据量1kw, 每次保存2w, 表属性27个, 6个组合索引

方案一

使用ibatis的foreach标签,尾部拼接values方法, 例如: INSERT INTO table values (a1,b1,c1),(a2,b2,c2)......

缺点: ibatis 的foreach循环涉及字符串占位符解析和填写,性能比较慢,CPU跑满

当数据量达到550w时,单次插入2w飙升到10秒以上

当数据量达到700w时,单次插入2w飙升到25秒以上

方案二

使用PreparedStatement进行批量插入

操作
对象赋值	40.4秒
addBatch操作	9秒
executeBatch操作	8.14分钟
commit操作	8.7秒
总耗时	9分钟

结果比较

方案	数据量	单次保存耗时	总耗时(毫秒)
方案1	1kw	逐渐变长	1个半小时没跑完,直接重启了
方案2	1kw	1秒左右	9分钟

优惠劵

NDSC流氓

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
mysql百万级数据保存方法对比

主键采用雪花ID, 测试数据量1kw, 每次保存2w, 表属性27个, 6个组合索引。
复制链接

扫一扫

excel处理几十万行数据_神奇吗？仅需4步，轻松在Excel处理300万行数据

weixin_39579127的博客

12-18

3256

原标题：神奇吗？仅需4步，轻松在Excel处理300万行数据这场软件PK，是时候分出胜负了，今天就是大结局。有必杀技在手，Excel已经看到了胜利的曙光。在99%的人眼中，Excel能处理的最大数据是100万行，假如现在是300万行，估计都束手无策，只能寄希望于数据库。不学习真的限制了你的想象力，300万行数据Excel也能轻松统计。300万行一个表肯定是存放不下，可以存放在多个工作表、多个工作簿...

MySQL快速对比数据技巧

01-19

在MySQL运维中，研发同事想对比下两个不同实例上的数据并找出差异，除主键外还需要对比每一个字段，如何做呢？第一种方案，写程序将两个实例上的每一行数据取出来进行对比，理论可行，但是对比时间较长。第二种...

参与评论您还未登录，请先登录后发表或查看评论

mysql中迅速插入百万条测试数据的方法

01-19

对比一下，首先是用 mysql 的存储过程弄的: 代码如下: mysql>delimiter $ mysql>SET AUTOCOMMIT = 0$$ mysql> create procedure test() begin declare i decimal (10) default 0 ; dd:loop INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `add_date`, `picture_url`,

MySQL 百万千万数据量级别的优化方案

qq_33454058的博客

05-24

1554

百万级字段选择优化表字段 not null，因为 null 值很难查询优化且占用额外的索引空间，推荐默认数字 0。数据状态类型的字段，比如 status, type 等等，尽量不要定义负数，如 -1。因为这样可以加上 UNSIGNED，数值容量就会扩大一倍。可以的话用 TINYINT、SMALLINT 等代替 INT，尽量不使用 BIGINT，因为占的空间更小。字符串类型的字段会比数字类型占的空间更大，所以尽量用整型代替字符串，很多场景是可以通过编码逻辑来实现用整型代替的。字符串类型长度不要随

MYSQLg高级------批量插入百万级数据量

沉淀、分享、成长，让自己和他人都能有所收获！

08-09

6079

先建立一张表：作为测试使用设置参数log_bin_trust_function_creators上述修改方式MySQL重启后会失败，在my.cnf配置文件下修改永久有效。创建函数，保证每条数据都不同随机产生字符串执行完语句后，在终端上输入，要以$$结尾执行完语句后，在终端上输入，要以$$结尾：（6）长度最大为6：默认值；所有的值都是这个不变的：所有的值都是1 也是不变的：当前得到时间应该是函数得一种写法；（具体的不了解；抱歉）：都是默认值：都是默认值：上面就是他的一个完整的解释；...

高性能的Mysql读书笔记系列之五（创建高性能的索引）

jdk_wangtaida的博客

09-21

1855

前言：正文：总结：

mysql 5.7更改数据库的数据存储位置的解决方法

12-15

随着MySQL数据库存储的数据逐渐变大，已经将原来的存储数据的空间占满了，导致mysql已经链接不上了。因此，必须要给存放的数据换个地方了。下面是操作过程中的一些步骤。记下来，以后日后查看。 1.修改mysql数据存放的目录要修改两个地方，其一是修改/etc/my.cnf文件中的datadir。默认情况下： datadir=/var/lib/mysql 因为我的/data/目录比较大，所以将其改为： datadir=/data/mysql/ 还要修改/etc/init.d/mysqld文件，将datadir=”$result”改为： datadir=”/data/mysql” 2.停止

利用Mysql存储过程造百万级数据

自律的西瓜L

03-10

3778

利用Mysql存储过程造百万级数据，INNODB存储引擎，MEMORY存储引擎，内存表

MySQL百万级/千万级数据存储解决方案

最近学习目标：MySQL，Redis

12-06

4082

MySQL 百万级/千万级数据存储解决方案百万级、千万级数据处理，个人认为核心关键在于数据存储方案设计，存储方案设计的是否合理，直接影响到数据CRUD操作。总体设计可以考虑一下三个方面进行设计考虑：数据存储结构设计索引设计数据主键设计查询方案设计百万级数据处理方案：数据存储结构设计表字段设计表字段 not null，因为 null 值很难查询优化且占用额外的索...

mysql生成百万条数据_mysql 快速生成百万条测试数据

weixin_32719533的博客

02-08

403

1、生成思路利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中2、创建内存表及普通表CREATETABLE`vote_record_memory`(`id`INT(11)NOTNULLAUTO_INCREMENT,`user_id`VARCHAR(20)NOTNULL,`vote_id`INT(11)NOTNUL...

MySQL查询随机数据的4种方法和性能对比

12-15

原因是因为MySQL会创建一张零时表来保存所有的结果集，然后给每个结果一个随机索引，然后再排序并返回。有几个方法可以让它快起来。基本思想就是先获取一个随机数，然后使用这个随机数来获取指定的行。由于所有的行...

mysql创建存储过程实现往数据表中新增字段的方法分析

09-09

主要介绍了mysql创建存储过程实现往数据表中新增字段的方法,结合实例形式对比分析了通过存储过程新增字段相关操作技巧,需要的朋友可以参考下

将MySQL数据库中的百万数据导出为CSV格式存储

杨大仙

10-29

1427

第一步：找到要转储为csv文件格式的数据库中的数据表第二步：右击：导出向导（如图所示）第三部：选择文件格式（几乎傻瓜式安装）如图所示大功告成！！接下来找到该文件打开查看数据是否有误 MySQL数据库10秒内插入百万条数据（多字段）【详解】如有错误，欢迎指正 Thanks ...

使用MySQL处理百万级以上数据时，不得不知道的几个常识

热门推荐

LynnUCAS的专栏

12-11

1万+

转自：http://itindex.net/detail/44659-mysql-%E7%99%BE%E4%B8%87-%E6%95%B0%E6%8D%AE 最近的项目需要用到实现节点的管理规模达到百万规模，需要用数据库对中间数据以及最后的结果进行存储，存储规模可以达到千万级别。初步实现了10万节点数据的存储，但是访问速度实在太慢，查阅相关的资料，发现导致节点插入时间非常慢的原因：

一起学习MySQL——innodb存储引擎

随手笔记

04-07

246

一、Innodb关键特性 1. change buffer 可以看做是Insert buffer升级版，当需要插入或更新一个数据页时，对于非聚簇索引，如果该数据页不在内存当中，Innodb在不影响一致性的前提下，会将更新操作缓存在change buffer中，可以省去从磁盘读取该页的操作，在以一定的频率和情况下与索引页进行merge合并，这时通常可以把多个更新页的操作合并为一次磁盘读写，这样就大大...

百万级数据存入MySql

weixin_33845881的博客

12-04

654

我又来了，又是百万数据的导入，其实又是项目中遇到的，那么怎么快速导入呢，因为我们项目用的是JPA，有时也使用jdbcTemplate，没错又是jdbcTemplate。对于这种大数据的处理，我们能业务代码方面最基本的能想到的就是块处理和使用线程。此处可以参考JAVA向Mysql插入亿级别数据---测评首先由于我们项目用的是jpa，so我最先也使用的jpa来存数据，而且最先做的也是批量处理，一次存1...

mybatis批量百万数据mysql_mybatis mysql 10 万 100 万百万以上并发写批量保存插入返回主键 id 优化方案...

weixin_29679557的博客

02-06

281

1、数据库一定安装在linux系统上面，这样比较稳定，如果配置读写分离也可以。2、数据库连接url后面追加&rewriteBatchedStatements=true，至于原因请大家去看jdbc驱动里面PreparedStatement源码3、上代码：Connection connection= null;PreparedStatement ps = null;PreparedStatem...

【MySQL精通之路】管理和实用程序

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交