MySQL快速创建百万级测试数据

本文和转载的文章区别在于去除了定义者DEFINER=`root`@`%`

创建基础表结构

CREATE TABLE `t_user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `c_user_id` varchar(36) NOT NULL DEFAULT '',
  `c_name` varchar(22) NOT NULL DEFAULT '',
  `c_province_id` int(11) NOT NULL,
  `c_city_id` int(11) NOT NULL,
  `create_time` datetime NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_user_id` (`c_user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

采用存储过程和内存表

  • 创建内存表

利用 MySQL 内存表插入速度快的特点,我们先利用函数和存储过程在内存表中生成数据,然后再从内存表插入普通表中,内存表的相关内容可以查看以下链接

mysql ENGINE=MEMORY 内存表 - 拾阶而上的PM - 博客园

CREATE TABLE `t_user_memory` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `c_user_id` varchar(36) NOT NULL DEFAULT '',
  `c_name` varchar(22) NOT NULL DEFAULT '',
  `c_province_id` int(11) NOT NULL,
  `c_city_id` int(11) NOT NULL,
  `create_time` datetime NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_user_id` (`c_user_id`)
) ENGINE=MEMORY DEFAULT CHARSET=utf8mb4;
  • 创建函数和存储过程
#创建随机字符串和随机时间的函数
CREATE FUNCTION `randStr` ( n INT ) RETURNS VARCHAR ( 255 ) CHARSET utf8mb4 DETERMINISTIC BEGIN
	DECLARE
		chars_str VARCHAR ( 100 ) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
	DECLARE
		return_str VARCHAR ( 255 ) DEFAULT '';
	DECLARE
		i INT DEFAULT 0;
	WHILE
			i < n DO
			SET return_str = concat(
				return_str,
			substring( chars_str, FLOOR( 1 + RAND() * 62 ), 1 ));
		SET i = i + 1;
	END WHILE;
	RETURN return_str;
END


CREATE  FUNCTION `randDataTime` ( sd DATETIME, ed DATETIME ) RETURNS datetime DETERMINISTIC BEGIN
	DECLARE
			sub INT DEFAULT 0;
		DECLARE
			ret DATETIME;
		SET sub = ABS(
		UNIX_TIMESTAMP( ed )- UNIX_TIMESTAMP( sd ));
		SET ret = DATE_ADD( sd, INTERVAL FLOOR( 1+RAND ()*( sub - 1 )) SECOND );
		RETURN ret;
		END

#创建插入数据存储过程
CREATE PROCEDURE `add_t_user_memory` ( IN n INT ) BEGIN
	DECLARE
			i INT DEFAULT 1;
		WHILE
				( i <= n ) DO
				INSERT INTO t_user_memory ( c_user_id, c_name, c_province_id, c_city_id, create_time )
			VALUES
				(
					uuid(),
					randStr ( 20 ),
					FLOOR( RAND() * 1000 ),
					FLOOR( RAND() * 100 ),
				NOW());			
			SET i = i + 1;
		END WHILE;
		END

  • 调用存储过程

此时可能报错,The table 't_user_memory' is full 出现内存已满时,修改 max_heap_table_size 参数的大小可以调整,64M内存,插入了22W数据

CALL add_t_user_memory(1000000);
  • 从内存表插入普通表
INSERT INTO t_user SELECT * FROM t_user_memory;

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将MySQL数据快速导入Oracle中,可以采用以下步骤: 1. 在MySQL中使用SELECT语句查询要导出的数据,并将其保存为CSV文件。 2. 在Oracle中创建一个与MySQL数据表结构相同的表。 3. 使用Oracle的SQL Loader工具将CSV文件导入Oracle中。 具体步骤如下: 1. 在MySQL中使用SELECT语句查询要导出的数据,并将其保存为CSV文件。例如,使用以下命令将MySQL表中的数据导出到CSV文件中: SELECT * INTO OUTFILE '/path/to/file.csv' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' FROM mysql_table; 2. 在Oracle中创建一个与MySQL数据表结构相同的表。例如,如果MySQL表名为mysql_table,可以使用以下SQL语句在Oracle中创建一个相同结构的表: CREATE TABLE oracle_table ( column1 datatype, column2 datatype, ... ); 3. 使用Oracle的SQL Loader工具将CSV文件导入Oracle中。例如,使用以下命令将CSV文件导入Oracle表中: sqlldr username/password control=/path/to/controlfile.ctl 其中,/path/to/controlfile.ctl是一个包含SQL Loader控制文件的路径。控制文件定义了如何将CSV文件中的数据映射到Oracle表中的列。例如,以下是一个控制文件的示例: LOAD DATA INFILE '/path/to/file.csv' INTO TABLE oracle_table FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' TRAILING NULLCOLS (column1, column2, ...) 注意,以上步骤可能需要根据具体情况进行调整,例如可能需要在MySQL和Oracle之间进行数据类型映射。同时,由于MySQL和Oracle的语法和功能存在差异,可能会出现一些数据转换或兼容性问题。因此,在实际操作中需要进行适当的测试和验证,确保数据导入正确无误。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值