MySQL如何利用存储过程快速生成100万条数据详解

最新推荐文章于 2023-09-30 13:22:32 发布
最新推荐文章于 2023-09-30 13:22:32 发布
阅读量1.5k 收藏 1
点赞数
文章标签： mysql 数据库 database
原文链接：https://www.jb51.net/article/220695.htm
版权
本文介绍了如何使用MySQL的存储过程来快速生成100万条测试数据，包括创建表结构、定义随机字符串和数字的函数，以及插入数据的存储过程。这种方法适用于测试大数据量场景下的系统性能，通过分批插入避免了空间错误。
摘要由CSDN通过智能技术生成

前言

在测试的时候为了测试大数据量的情况下项目的抗压能力我们通常要创造一些测试数据那么现在这个方法绝对好用

其中可能会有sql空间的报错可以自己尝试解决，这里做了分批插入，每次插入30万条，所以没有遇到类似的空间问题

首先，创建要插入100万数据的表格

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
 
-- ----------------------------
-- Table structure for sdb_b2c_orders
-- ----------------------------
DROP TABLE IF EXISTS `sdb_b2c_orders`;
CREATE TABLE `sdb_b2c_orders`  (
  `order_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '0' COMMENT '订单号',
  `seller_order_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '0' COMMENT '商户订单号',
  `total_amount` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '商品默认货币总值',
  `final_amount` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '订单货币总值, 包含支付价格,税等',
  `pay_status` enum('0','1','2','3','4','5') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '0' COMMENT '付款状态 0-未支付 1-已支付 2-已付款至担保方 3-部分付款 4-部分退款 5-全额退款',
  `ship_status` enum('0','1','2','3','4') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '0' COMMENT '发货状态',
  `is_delivery` enum('Y','N') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'Y' COMMENT '是否需要发货',
  `createtime` int(10) UNSIGNED NULL DEFAULT NULL COMMENT '下单时间',
  `last_modified` int(10) UNSIGNED NULL DEFAULT NULL COMMENT '最后更新时间',
  `ectools_payments` varchar(512) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `payment` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '支付方式',
  `shipping_id` mediumint(8) UNSIGNED NULL DEFAULT NULL COMMENT '配送方式',
  `shipping` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '配送方式',
  `member_id` mediumint(8) UNSIGNED NULL DEFAULT NULL COMMENT '会员用户名',
  `platform_member_id` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '平台会员ID',
  `store_id` mediumint(8) UNSIGNED NULL DEFAULT NULL COMMENT '收款门店ID',
  `confirm_status` enum('0','1','2','3') CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '0' COMMENT '门店接单状态',
  `confirm_time` int(10) UNSIGNED NULL DEFAULT NULL COMMENT '接单时间',
  `pickself_status` enum('0','1') CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '自提状态',
  `pickself_time` int(10) NULL DEFAULT NULL COMMENT '自提时间',
  `pickself_id` mediumint(8) UNSIGNED NULL DEFAULT NULL COMMENT '自提门店ID',
  `operator_id` mediumint(8) UNSIGNED NULL DEFAULT NULL COMMENT '收款用户ID',
  `weixinscan_qrcode` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '微信付款码',
  `alipay_qrcode` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '支付宝付款码',
  `unionpay_qrcode` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '银联付款码',
  `qrcode` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '核销码',
  `promotion_type` enum('normal','prepare','recharge','cashier') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'normal' COMMENT '销售类型',
  `status` enum('active','dead','finish') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'active' COMMENT '订单状态',
  `confirm` enum('Y','N') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'N' COMMENT '确认状态',
  `ship_area` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '收货地区',
  `ship_name` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '收货人',
  `weight` decimal(20, 3) NULL DEFAULT NULL COMMENT '订单总重量',
  `tostr` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT '订单文字描述',
  `itemnum` mediumint(8) UNSIGNED NULL DEFAULT NULL COMMENT '订单子订单数量',
  `ip` varchar(15) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT 'IP地址',
  `ship_addr` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT '收货地址',
  `ship_zip` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '收货人邮编',
  `ship_tel` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '收货电话',
  `ship_email` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '收货人email',
  `ship_time` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '配送时间',
  `ship_mobile` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '收货人手机',
  `cost_item` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '订单商品总价格',
  `is_tax` enum('true','false') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'false' COMMENT '是否要开发票',
  `tax_type` enum('false','personal','company') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'false' COMMENT '发票类型',
  `tax_content` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '发票内容',
  `cost_tax` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '订单税率',
  `tax_company` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '发票抬头',
  `is_protect` enum('true','false') CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'false' COMMENT '是否还有保价费',
  `cost_protect` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '保价费',
  `cost_payment` decimal(20, 3) NULL DEFAULT NULL COMMENT '支付费用',
  `currency` varchar(8) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '订单支付货币',
  `cur_rate` decimal(10, 4) NULL DEFAULT 1.0000 COMMENT '订单支付货币汇率',
  `score_u` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '订单使用积分',
  `score_g` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '订单获得积分',
  `discount` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '订单减免',
  `pmt_goods` decimal(20, 3) NULL DEFAULT NULL COMMENT '商品促销优惠',
  `pmt_order` decimal(20, 3) NULL DEFAULT NULL COMMENT '订单促销优惠',
  `payed` decimal(20, 3) NULL DEFAULT 0.000 COMMENT '订单支付金额',
  `memo` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT '订单附言',
  `disabled` enum('true','false') CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT 'false',
  `displayonsite` enum('true','false') CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT 'true',
  `mark_type` varchar(2) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'b1' COMMENT '订单备注图标',
  `mark_text` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT '订单备注',
  `cost_freight` decimal(20, 3) NOT NULL DEFAULT 0.000 COMMENT '配送费用',
  `extend` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT 'false' COMMENT '订单扩展',
  `order_refer` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 'local' COMMENT '订单来源',
  `addon` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT '订单附属信息(序列化)',
  `source` enum('pc','wap','weixin','cashier','paycode','eleme','meituan') CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT 'pc' COMMENT '平台来源',
  `source_name` varchar(30) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '商圈库名',
  `merchant_bn` varchar(30) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '商户号',
  UNIQUE INDEX `idx_bn`(`order_id`, `merchant_bn`) USING BTREE,
  INDEX `ind_ship_status`(`ship_status`) USING BTREE,
  INDEX `ind_pay_status`(`pay_status`) USING BTREE,
  INDEX `ind_promotion_type`(`promotion_type`) USING BTREE,
  INDEX `ind_status`(`status`) USING BTREE,
  INDEX `ind_disabled`(`disabled`) USING BTREE,
  INDEX `ind_last_modified`(`last_modified`) USING BTREE,
  INDEX `ind_createtime`(`createtime`) USING BTREE,
  INDEX `idx_order_refer`(`order_refer`) USING BTREE,
  INDEX `idx_bn_aa`(`merchant_bn`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci COMMENT = '订单表' ROW_FORMAT = Dynamic;
 
SET FOREIGN_KEY_CHECKS = 1;

创建函数

#随机产生字符串

DELIMITER $$
CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255)
BEGIN
 DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ';
 DECLARE return_str VARCHAR(255) DEFAULT '';
 DECLARE i INT DEFAULT 0;
 WHILE i < n DO
 SET return_str =CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
 SET i = i + 1;
 END WHILE;
 RETURN return_str;
END $$

#随机产生数字

DELIMITER $$
CREATE FUNCTION rand_num( ) 
RETURNS INT(5)  
BEGIN   
 DECLARE i INT DEFAULT 0;  
 SET i = FLOOR(100+RAND()*10);  
RETURN i;  
 END $$
#假如要删除
#drop function rand_num;

创建存储过程

#并向表中插入数据

#执行存储过程，往sdb_b2c_order表添加随机数据
DELIMITER $$
CREATE PROCEDURE insert_sdb_b2c_orders(IN START INT(10),IN max_num INT(10))  
BEGIN  
DECLARE i INT DEFAULT 0;   
 SET autocommit = 0;    
 REPEAT  
 SET i = i + 1;  
 INSERT INTO sdb_b2c_orders (order_id ,seller_order_id,total_amount,final_amount,source,source_name,merchant_bn ) VALUES
 (rand_string(10) ,rand_string(10),100,100,'eleme','square',(START+i));  
 UNTIL i = max_num  
 END REPEAT;  
 COMMIT;  
 END $$;
#删除
# DELIMITER ;
# drop PROCEDURE insert_emp;

#调用存储过程进行插入数据

 #插入30万条数据分几次插入
 CALL insert_sdb_b2c_orders(700003,300000); 

总结

百万数据搞定，到此这篇关于MySQL如何利用存储过程快速生成100万条数据的文章就介绍到这了,更多相关MySQL用存储过程生成100万数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

MySQL快速构造百万数据
coder
11-09 1819
MQSQL快速构造百万数据
MySQL创建存储过程批量插入10万条数据
01-19
MySQL创建存储过程批量插入10万条数据 存储过程 1、首先防止主键冲突，我们清空表。 TRUNCATE table A_student; 2、编写存储过程 delimiter ‘$’; CREATE PROCEDURE batchInsert(in args int) BEGIN declare i int default 1; start TRANSACTION; while i <= args DO insert into A_student(id,name) VALUES (i, concat(“陈瓜皮-”, i)); set i = i+1; end while; COMMIT;
Mysql使用存储过程快速添加百万数据.docx
08-24
Mysql使用存储过程快速添加百万数据
MySQL生成百万条数据超详细步骤
weixin_47316183的博客
10-01 1万+
本篇文章是关于MySQL生成百万条数据的全部过程，每一步都有具体的sql，并且每一步都有具体的注释，详细步骤如下： 1、创建数据库 CREATE DATABASE `test_bai` -- 创建数据库 USE `test_bai` -- 切换对应的数据库 2、创建表 CREATE TABLE `app_user`( `id` INT NOT NULL AUTO_INCREMENT COMMENT '主键', `name` VARCHAR(50) DEFAULT '' COMMENT '用户名称',
Mysql存储过程用于构造数据
a200822146085的博客
05-17 257
在测试过程中，需要生成100000条库存数据，通过下单，收货，全流程走下来比较耗时，这里使用mysql存储过程，快速大批量生成库存数据，方便快速大批量验证。
Mysql8.0使用存储过程 快速插入100W条数据
weixin_42169734的博客
08-13 770
1、创建存储过程 DELIMITER $ CREATE PROCEDURE pro_insert2(IN n int) BEGIN DECLARE i INT DEFAULT 1; WHILE i <= n DO INSERT into excel (name,age,gender ) VALUEs ('张三',10,'男'); SET i = i+1; END WHILE; END $ 2、删除存储过程 DROP PROCEDURE IF EX
利用存储过程批量生成数据
weixin_33697898的博客
03-07 138
又是一个快下班的时候，工作紧张有序的进行着。现场反馈了一个问题，数据大于2000条的时候，导出excel报错，导出格式是每20条数据一个sheet的格式。如图： 如何来模拟这么多数据来进行验证呢？公司环境没有那么多数据，并且很多业务表都有关联，要是手工添加数据那是不现实的，若是利用自动化工具QTP来实现一是需要写很长的自动化脚本才能实现，并且跑脚本也需要很长时间，再者马上...
MySQL快速生成大量测试数据
认识世界，活出伟大
07-14 1519
//通过内存表的方式将测试数据快速插入正式数据表中 --普通表 CREATE TABLE `vote_record` ( `id` INT (11) NOT NULL AUTO_INCREMENT, `user_id` VARCHAR (20) NOT NULL, `vote_id` INT (11) NOT NULL, `group_id` INT (11) NOT NULL, `create_time` datetime NOT NULL, PRIMARY KEY (`id`), KEY.
mysql 之 百万条数据的生成
qq_50560491的博客
04-18 603
在创建之前，我们先来了解mysql的自定义函数。 MySQL本⾝提供了内置函数: 这些函数的存在给我们⽇常的开发和数据操作带来了很⼤的便利，聚合函数SUM()、AVG()以及⽇期时间函数等等，可是我们总会出现其他的需求：我们需要调⽤⼀个函数，这个函数需要按照我们的要求来实现我们⾃⼰的功能，可是这个函数式系统不能提供的因为这中需求的不确定性。因此我们需要⾃⼰来解决这种需求。还好MySQL设计的扩展性给了我们这个机会，我们可以通过⾃定义函数的功能解决这个问题。 下面来看自定义函数. 先查看函数创建..
mysql快速生成百万数据量
zk86547462的博客
08-11 927
#创建内存表 CREATE TABLE `test_user_memory` ( `id` int(11) NOT NULL AUTO_INCREMENT comment '主键id', `user_id` varchar(36) NOT NULL comment '用户id', `user_name` varchar(30) NOT NULL comment '用户名称', `phone` varchar(20) NOT NULL comment '手机号码', `lan_id` int(9)
百万数据批量插入存储过程
07-23
mysql 数据库已存储过程插入一千万条测试数据！利用项目即将上限需要，可以完全系统的测试项目性能！里面又完整的文档和各项说明：打开文档就可以实际操作。
mysql 100万1000万条数据表的生成，t100w.sql导入文件
08-11
【内容】t100w.sql 以及创建的sql语句，自己修改可以生成1000w数据表。 【注意】建表需要先建库，然后在mysql中运行： source /路径/t100w.sql 即可以导入100万条的数据，表结构如下： DROP TABLE IF EXISTS `t100w`; CREATE TABLE `t100w` ( `id` int(11) DEFAULT NULL, `num` int(11) DEFAULT NULL, `k1` char(2) COLLATE utf8mb4_bin DEFAULT NULL, `k2` char(4) COLLATE utf8mb4_bin DEFAULT NULL, `dt` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
快速生成千万条mysql数据
妙音
09-06 4117
目的 学习、测试mysql海量数据的场景，需要先生成数据。 思路 mysql官方文档说得很清楚。”load data infile”导入数据比insert要快20倍。所以我们先生成一千万条数据的文件。 然后将数据导入表中。 生成数据 假如有个用户表(id, username,password, age, sex)，id是自动增长，我们现在需要生成username等信息 生成一千万条数...
Java向mysql批量存储数据_java使用jdbc向mysql数据库批量插入大量数据详解
weixin_32157619的博客
01-21 943
要求就是向mysql数据库插入到数据库里大量的数据 比如10W 或者 100W 而且要求内存稳定.首先说下代码:数据库MySQLCREATE TABLE `users` (`id` int(11) NOT NULL auto_increment,`firstname` varchar(50) NOT NULL,`lastname` varchar(50) NOT NULL,`age` int(11...
MySQL实现原理-存储引擎-数据结构-面试详解
qq1344691727的博客
08-12 1179
目录 一、MySQL逻辑架构 1、客户端/服务端通信协议 2、查询缓存 3、语法解析和预处理 4、查询优化 5、查询执行引擎 6、MySQL整个查询执行过程 二、存储引擎 1、MySQL支持哪些存储引擎? 2、InnoDB和MyISAM有什么区别? 3、innodb引擎的4大特性 4、innodb的读写参数优化 5、innodb的事务与日志 三、索引 1、索引数据结构 2、Hash索引和B+树认识 2.1 Hash与B+树实现原理 2.2 Hash与B+树区别 2.
MySQL JSON数据类型详解：深入理解JSON数据存储机制
MySQL JSON数据类型是一种用于存储和管理JSON（JavaScript Object Notation）数据的原生数据类型。JSON是一种轻量级的数据格式，广泛用于Web应用程序和数据交换。MySQL JSON数据类型提供了对JSON数据的强大支持，...
mysql详解（持续更新）
热门推荐
Ferao的博客
10-21 3万+
去重语句： select distinct 列名 from 表名 字符类型转数值类型语句： select to_number('000123') from dual; 插入语句： insert into 表名 (字段) values (字段值) 新增表字段： alter table 表名 add (字段名 integer default 0 not null); 删除表字段： alter........................................
MySQL 通过存储过程高效插入100w条数据
最新发布
kerwin的博客
09-30 1万+
MySQL 通过存储过程高效插入100w条数据
MySQL利用存储过程自动生成千万条数据
阑珊处的秋月博客
12-09 6094
文章目录 ​前言 ​一、实现思路 ​二、实现步骤 ​1.创建数据库 ​2.创建存储表和内存表 ​3.创建所需函数 ​4.创建存储过程 ​5.调用存储过程插入数据 ​6.统计数据库 ​ 拓展 ​总结 前言 本文详细介绍了实现MySQL快速生成数据的步骤。为了快速生成大量的测试数据，利用MySQL内存表插入速度快的特点，用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中。 一、实现思路 ⑴ 先创建好插入数据时需要的自动生成数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值