mysql 新增一百万条数据_MySQL 快速添加百万条数据

通过使用MySQL的内存表提升数据插入速度,本文介绍了如何创建内存表和普通表,利用存储过程与函数生成随机数据,快速填充100万条测试记录,并将内存表数据复制到普通表,整个过程仅耗时约6分钟。
摘要由CSDN通过智能技术生成

需要向数据库添加100W条测试数据,直接在普通表中添加速度太慢,可以使用内存表添加,然后将内存表数据复制到普通表

创建表

# 内存表

DROP TABLE IF EXISTS `test_memory`;

CREATE TABLE `test_page_memory` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`username` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,

`password` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,

`create_time` datetime(0) NULL DEFAULT NULL,

`update_time` datetime(0) NULL DEFAULT NULL,

PRIMARY KEY (`id`) USING HASH

) ENGINE = MEMORY AUTO_INCREMENT = 1000001 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Fixed STORAGE MEMORY;

SET FOREIGN_KEY_CHECKS = 1;

# 普通表

DROP TABLE IF EXISTS `test`;

CREATE TABLE `test_page` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`username` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,

`password` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,

`create_time` datetime(0) NULL DEFAULT NULL,

`update_time` datetime(0) NULL DEFAULT NULL,

PRIMARY KEY (`id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 1000001 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

编写函数

CREATE DEFINER=`root`@`localhost` FUNCTION `rand_str`(n INT) RETURNS varchar(255) CHARSET utf8

BEGIN

DECLARE i INT DEFAULT 0;

DECLARE char_str VARCHAR(255) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';

DECLARE return_str VARCHAR(255) DEFAULT '';

WHILE i < n DO

SET return_str = CONCAT(return_str,substring(char_str, FLOOR(1 + RAND()*62), 1));

SET i = i + 1;

END WHILE;

RETURN return_str;

END

编写存储过程

CREATE DEFINER=`root`@`localhost` PROCEDURE `add_data`(IN `n` int)

BEGIN

DECLARE i INT DEFAULT 0;

WHILE i < n DO

INSERT INTO test_memory(username,`password`,create_time,update_time) VALUES (rand_str(8),MD5('123456'),NOW(),NOW());

SET i = i + 1;

END WHILE;

END

执行

# 调用存储过程

CALL add_data(1000000);

# 将内存表数据复制到普通表

INSERT INTO test SELECT * FROM test_memory;

结果

可以看到添加数据一共只花了6分钟左右。

e0194c7cb58b4720489d27d56cdeb0e3.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值