【Oracle和MySQL以及DM8】主流数据库Oracle以及MySQL批量生成数据1kw(1)

MySQL随机生成1kw条数据相对而言麻烦一点，没有rownum这个字段确实很蛋疼。

提供一个思路当然可以采取曾经火遍半边天的Python去随机生成大量数据，然后使用工具或者命令导入到MySQL数据库。

其次，还可以在Oracle生成大量数据，然后使用迁移工具转数据到MySQL

(当时，偷懒不想写函数和存储过程。我就是用这种方法的，利用DM数据迁移工具即可实现。)

01 使用工具SQLyog

统计创建的tolove表数据条目数

创建表tolove

/** 创建表tolove **/

CREATE TABLE test.tolove (

ID INT NOT NULL PRIMARY KEY AUTO_INCREMENT,

GIRE_NAME VARCHAR(64) COLLATE utf8_bin DEFAULT NULL,

GIRL_AGE VARCHAR(64) COLLATE utf8_bin DEFAULT NULL,

CUP_SIZE VARCHAR(10) COLLATE utf8_bin DEFAULT NULL

) ENGINE=INNODB DEFAULT CHARSET=utf8 COLLATE=utf8_bin

创建函数rand_numbe

/** 创建函数rand_number,生成随机数字 **/

DELIMITER $

CREATE FUNCTION rand_number() RETURNS INT

BEGIN

DECLARE i INT DEFAULT 0;

SET i= FLOOR(1+RAND()*100);

RETURN i;

END $

DELIMITER $

创建函数rand_name

/** 创建函数rand_name,随机字符串 **/

DELIMITER $

CREATE FUNCTION rand_name(n INT) RETURNS VARCHAR(255)

BEGIN

DECLARE chars_str VARCHAR(100) DEFAULT ‘abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ’;

DECLARE return_str VARCHAR(255) DEFAULT ‘’;

DECLARE i INT DEFAULT 0;

WHILE i < n DO

SET return_str = CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));

SET i = i+1;

END WHILE;

RETURN return_str;

END $

DELIMITER $

创建存储过程insert_tolove

/** 创建存储过程insert_tolove **/

DELIMITER $

CREATE PROCEDURE insert_tolove(IN max_num INT(10))

BEGIN

DECLARE i INT DEFAULT 0;

DECLARE EXIT HANDLER FOR SQLEXCEPTION ROLLBACK;

START TRANSACTION;

WHILE i< max_num DO

INSERT INTO test.tolove(ID,GIRL_NAME,GIRL_AGE,CUP_SIZE) VALUES(NULL,rand_name(5),rand_number(),NULL);

SET i = i + 1;

END WHILE;

COMMIT;

END $

DELIMITER $

测试验证

/** 测试验证 **/

SET GLOBAL event_scheduler=1;

COMMIT;

SELECT * FROM mysql.event;

SHOW FUNCTION STATUS;

UPDATE mysql.proc SET Security_type=‘INVOKER’;

调用存储过程insert_tolove

/** 调用存储过程insert_tolove **/

CALL insert_tolove(1000*10000);

SELECT COUNT(*) FROM test.tolove t WHERE t.girl_age=‘16’;

验证插入语句

/** 验证是否输错 **/

INSERT INTO test.tolove(ID,GIRL_NAME,GIRL_AGE,CUP_SIZE) VALUES(NULL,‘1’,‘1’,‘A’);

02 通过第三方工具迁移数据

DM8迁移工具DTS

/** 通过DM数据库迁移工具迁移的数据 **/

/** student 100w**/

SELECT COUNT(*) FROM test.student;

UPDATE test.student s SET s.stu_age=‘18’ WHERE s.stu_name LIKE ‘A%’;

UPDATE test.student s SET s.stu_sex=‘女’;

SELECT COUNT(*) FROM test.student t WHERE t.stu_name LIKE ‘A%’

/** test 1000w **/

SELECT COUNT(*) FROM test.test;

二、Oracle生成1kw数据大表

---

01 使用工具plsql developer

/** Oracle11g R2 for Windows10 测试随机生成200w数据的表 **/

/** 此次测试对DM8数据库同样适用 **/

–创建表

CREATE TABLE test.student

(

ID NUMBER not null primary key,

STU_NAME VARCHAR2(60) not null,

STU_AGE NUMBER(4,0) NOT NULL,

STU_SEX VARCHAR2(2) not null

)

–学生表随机生成200w数据

insert into test.student

select rownum,dbms_random.string(‘*’,dbms_random.value(6,10)),dbms_random.value(14,16),

‘女’ from dual

connect by level<=2000000

select count(*) from test.student t where t.stu_age=‘16’;

select t.*, t.rowid from TEST.STUDENT t where t.stu_age<16

update test.student set stuid=rownum where 1=1

–修改年龄随机14-16岁之间

update test.student set stu_age=dbms_random.value(14,16) where 1=1

提交

–提交

commit;

/** Oracle11g R2 for Windows10 测试随机生成1000w数据的大表 **/

/** 此次测试对DM8数据库同样适用 **/

/** 测试插入1kw数据 —begin **/

–创建表

CREATE TABLE test.test

(

id NUMBER not null primary key,

stu_name NVARCHAR2(60) not null,

score NUMBER(4,0) NOT NULL,

createtime TIMESTAMP (6) not null

)

–模拟插入200w级数据(36s)

–模拟插入1kw数据出现提示connect by内存不足。也许是机器性能不够,也许是需要做参数调整。

–DM8直接改成10000000，毫无压力

insert into test.test

select rownum,dbms_random.string(‘*’,dbms_random.value(6,20)),dbms_random.value(0,20),

sysdate from dual

connect by level<=2000000

–统计(初始200w数据)

select count(*) from test.test;

–提交

commit;

– 将test表结构以及数据复制到test01中

create table test.test01 as select * from test.test;

–执行4次，分分钟变出一张1kw级的数据大表，这个小伙子有点东西啊！

insert into test.test01 as select * from test.test

–统计

select count(distinct id) from test.test01

–统计(生成1000w数据完毕)

select count(*) from test.test01;

–优化id

update test.test01 set id=rownum where 1=1

–设置id为主键

ALTER TABLE test.test01 ADD CONSTRAINT constraint_test01 PRIMARY KEY (id);

/** 测试插入1kw数据 —end **/

/** Oracle11g R2 for Windows10测试 **/

三、DM8数据库生成1kw数据大表

---

01 使用工具，DM管理客户端

/**

1、dm8数据库创建用户test

2、创建表student

3、插入1000w测试数据

4、commit提交

5、count统计数据

**/

/** 创建学生表begin **/

CREATE TABLE test.student

(

ID NUMBER not null primary key,

STU_NAME VARCHAR2(60) not null,

STU_AGE NUMBER(4,0) not null,

STU_SEX VARCHAR2(2) not null

)

–学生表随机生成1000w数据大约8s，测试插入1kw条数据花了90s左右

insert into test.student

select rownum,dbms_random.string(‘*’,dbms_random.value(6,10)),dbms_random.value(14,16),

‘女’ from dual

connect by level<=10000000

/** 统计数据 **/

select count(*) from test.student t where t.stu_age=‘16’;

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

[外链图片转存中…(img-0YMu43Yg-1715150344118)]

[外链图片转存中…(img-A8rWLpmN-1715150344118)]

[外链图片转存中…(img-7AfSJhzF-1715150344118)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！