快速造数据库数据

已于 2023-08-17 11:23:05 修改
阅读量224 收藏
点赞数
文章标签： 数据库 oracle sql
于 2023-08-17 10:41:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43225604/article/details/132335759
版权

1.pg类
#建表
create table h_test(id bigserial primary key, str1 text,str2 text,str3 text,str4 text,str5 text,str6 text ,str7 text,str8 text,str9 text,str10 text);
#插入10条随机数据，下面的sql重复10次
insert into h_test(str1,str2,str3,str4,str5,str6,str7,str8,str9,str10) values(repeat(md5((random()*10000)::text),20),repeat(md5((random()*10000)::text),20),repeat(md5((random()*10000)::text),20),repeat(md5((random()*10000)::text),20),repeat(md5((random()*10000)::text),20),repeat(md5((random()*10000)::text),20),repeat(md5((random()*10000)::text),20),repeat(md5((random()*10000)::text),20),repeat(md5((random()*10000)::text),20),repeat(md5((random()10000)::text),20))
#重复下面的sql大概23次可以将表做到100G
insert into h_test(str1,str2,str3,str4,str5,str6,str7,str8,str9,str10) select str1,str2,str3,str4,str5,str6,str7,str8,str9,str10 from h_test;
#多开几个窗口，建议同时开4个可以一起，计算你需要制作的数据量，如1T=100G10。因为开了4个窗口每个窗口创建10/4=2.5个表，每个session准备好create的2到3条语并发跑。
#session1
create table h_test01 as select * from h_test;
create table h_test02 as select * from h_test;
create table h_test03 as select * from h_test;
#session2
create table h_test04 as select * from h_test;
create table h_test05 as select * from h_test;
create table h_test06 as select * from h_test;
#session3
create table h_test07 as select * from h_test;
create table h_test08 as select * from h_test;
#session4
create table h_test09 as select * from h_test;
create table h_test10 as select * from h_test;

2.mysql类造数据
计算需要制作的数据量。以下实验测试的表是1千万的数据 80G。2千万就是160G。
如需要3T的数据 需要表数量 = 3200G / 80 = 40 。大概需要40张表。
建议并发4个窗口，不然容易把物理机io打满影响其他客户的实例。那每个窗口就负责10个表的插入.

第一步：#建表
create table h_test1(id bigint AUTO_INCREMENT primary key, str1 varchar(2000),str2 varchar(2000),str3 varchar(2000),str4 varchar(2000),str5 varchar(2000),str6 varchar(2000) ,str7 varchar(2000),str8 varchar(2000),str9 varchar(2000),str10 varchar(2000));
create table h_test2(id bigint AUTO_INCREMENT primary key, str1 varchar(2000),str2 varchar(2000),str3 varchar(2000),str4 varchar(2000),str5 varchar(2000),str6 varchar(2000) ,str7 varchar(2000),str8 varchar(2000),str9 varchar(2000),str10 varchar(2000));
…
…
create table h_test40(id bigint AUTO_INCREMENT primary key, str1 varchar(2000),str2 varchar(2000),str3 varchar(2000),str4 varchar(2000),str5 varchar(2000),str6 varchar(2000) ,str7 varchar(2000),str8 varchar(2000),str9 varchar(2000),str10 varchar(2000));
第二步：#创建存储过程

delimiter $$$
create  procedure batch_insert(in tb_name varchar(250),in row bigint)
begin
declare i int default 0;
declare cnt int;
SET cnt=(row/20);
SET @sqlStmt = CONCAT('insert into ',tb_name,'(str1,str2,str3,str4,str5,str6,str7,str8,str9,str10) values(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20)),
(repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20),repeat(md5((rand()*10000)),20))');
set i=0;
start transaction;
while i<cnt+1 do
	PREPARE stmt FROM @sqlStmt;
	EXECUTE stmt;
set i=i+1;
if i%10000 =0 
 then
 commit;
 start transaction;
end if;
end while;
commit;
end
$$$
delimiter ;

第三步：#开4个窗口sql，且设置不写入binlog

set sql_log_bin=0;

第四步:4个窗口同时调用存储过程

session1: call batch_insert（‘h_test1’,10000000);call batch_insert（‘h_test2’,10000000)…call batch_insert（‘h_test10’,10000000)
session2:call batch_insert（‘h_test11’,10000000);call batch_insert（‘h_test12’,10000000)…call batch_insert（‘h_test20’,10000000)
session3:call batch_insert（‘h_test21’,10000000);call batch_insert（‘h_test22’,10000000)…call batch_insert（‘h_test30’,10000000)
session4:call batch_insert（‘h_test31’,10000000);call batch_insert（‘h_test32’,10000000)…call batch_insert（‘h_test40’,10000000)

##测试结果：
同时开4个窗口执行存储过程，300G数据 25分钟
3.sqlserver类
#建表
create table h_test(id bigint identity (1,1) primary key, str1 varchar(1024),str2 varchar(1024),str3 varchar(1024),str4 varchar(1024),str5 varchar(1024),str6 varchar(1024) ,str7 varchar(1024),str8 varchar(1024),str9 varchar(1024),str10 varchar(1024));
#插入10条随机数据，下面的sql重复10次
insert into h_test(str1,str2,str3,str4,str5,str6,str7,str8,str9,str10) values(replace(dbo.lzw_getstr(10),‘A’,‘dcdi’),replace(dbo.lzw_getstr(10),‘B’,‘dcdi’),replace(dbo.lzw_getstr(10),‘C’,‘dcdi’),replace(dbo.lzw_getstr(10),‘D’,‘dcdi’),replace(dbo.lzw_getstr(10),‘E’,‘dcdi’),replace(dbo.lzw_getstr(10),‘F’,‘dcdi’),replace(dbo.lzw_getstr(10),‘G’,‘dcdi’),replace(dbo.lzw_getstr(10),‘H’,‘dcdi’),replace(dbo.lzw_getstr(10),‘I’,‘dcdi’),replace(dbo.lzw_getstr(10),‘J’,‘dcdi’))
#重复下面的sql大概10几次可以将表做到18G左右，因为sqlserver日志会占用很大的空间，每个表小一点就可以把事物做小。减少日志空间的占用。
insert into h_test(str1,str2,str3,str4,str5,str6,str7,str8,str9,str10) select str1,str2,str3,str4,str5,str6,str7,str8,str9,str10 from h_test;
#可以通过如下查看数据库,表,日志的大小
exec sp_spaceused ‘h_test’
select name, CAST(convert(float,size) * (8192.0/1024.0)/1024 AS nvarchar)+‘MB’ AS CP from dbo.sysfiles;
dbcc sqlperf(logspace)
#多开几个窗口，建议同时开4个可以一起，计算你需要制作的数据量，如1T=16G*60。因为开了4个窗口每个窗口创建60/4=15个表，每个session准备好create的15条语并发跑。
#session1
select * into h_test01 as select * from h_test;
select * into h_test02 as select * from h_test;
…
select * into h_test15 as select * from h_test;
#session2
select * into h_test101 as select * from h_test;
select * into h_test102 as select * from h_test;
…
select * into h_test115 as select * from h_test;
#session3
select * into h_test201 as select * from h_test;
select * into h_test202 as select * from h_test;
…
select * into h_test215 as select * from h_test;
#session4
select * into h_test301 as select * from h_test;
select * into h_test302 as select * from h_test;
…
select * into h_test315 as select * from h_test;
4.redis类

#!/bin/bash
        used_memory=1
        maxmemory=xxxx   #定值为最大内存，单位字节
        i=1
        redis_conn="redis-cli -h xxxxx -p 6379 -a Aa123456"
        while (( used_memory < maxmemory  ))
        do
           $redis_conn set key$i aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaabbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccddddddddddddddddddddddddddddddddddddddddddddddddAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBAAAAAAAAAaaaaaaaaaaaaaaaaaaaabbbbbbbbbbbbbbbbbbbbbbbbbbbbbbcccccccccccccccccccccc
           i=$(($i+1))
           used_memory = $(($redis_conn info memory | grep 'used_memory:' | awk -F: '{print $(2)}'))
        done
风延
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
MySQL快速构造百万数据
coder
11-09 1763
MQSQL快速构造百万数据
数据库快速插入大量数据
weixin_37706042的博客
03-30 1259
1、存储过程 1、创建数据表 CREATE TABLE `sys_user_login_log` ( `id` bigint(100) NOT NULL AUTO_INCREMENT, `user_code` varchar(100) DEFAULT NULL COMMENT '用户编码', `username` varchar(100) DEFAULT NULL COMMENT '用户名', `login_time` datetime DEFAULT NULL COMME...
给数据库中的表造数据
陌子曦的专栏
04-19 1960
mysql造数据 insert INTO tj_nsr (org_id,org_name,nsrsbh,nsrmc,sssq,sksbsl,kpl,kpje,se,writetime) values ("10100000000","Johor","445202790204341","BAN JOO HIN","2016-03",FLOOR(RAND() * 10000),FLOOR(RAND(
使用不同方式，给数据库创建大量数据
qq_37772593的博客
06-09 1115
注意修改的地方： 运行成功后，然后在数据库中运行sql脚本，就好了。
MySQL数据库生成20万条数据练习
最新发布
2302_81782153的博客
05-17 236
【代码】MySQL数据库生成20万条数据练习。
MySQL大批量造数据
热门推荐
Meng
03-15 1万+
目录 1、前言 2、什么是存储过程 3、存储过程批量造数据 1、前言 有时候往数据库里批量造数据，是为了某些测试前的必要条件。例如：导出 Excel 报表功能、性能压测时的压测数据等。 一般批量造数据有以下几种方式： 1、通过接口请求方式批量造数据 2、开发脚本（Java、Python等）进行批量造数据 3、使用 Jmeter 的 MySQL 脚本发起批量造数据 4、通过 MySQL 的存储过程造数据 本篇采用 MySQL 的存储过程方式来进行批量造数据。 2、什么是存储过程
MySQL、SQL server批量构造数据
hauxang的博客
06-23 1083
工作中常需快速构造百万、千万级别数据量，对于不同数据库，常需要一些不同特定方法快速构造，以下分享个人再MySQL、SQL server数据库批量构造数据的方法。
简单的数据库造数据方法
weixin_39389850的博客
08-20 6890
public class Snippet { public static void main(String[] args) { try { String url = &quot;数据库URL&quot;; // orcl为数据库的SID String user = &quot;数据库用户名&quot;; String pas...
数据库快速入门
weixin_43451783的博客
04-24 719
一天学完Postgre 1. 数据库基础知识入门 数据库表：一系列二维数组的集合。 数据类型：整数、浮点数、日期时间、字符串、二进制数据。 数据库系统构成 数据库 数据库管理系统 数据库应用程序 SQL语言：对数据库进行查询和修改操作语言 DDL: 数据库定义语言，DROP、CREATE、ALTER等语句 DML: 数据库操作语言，INSERT、UPDATE、DELETE语句 DQL: 数据库查询语言，SELECT等语句 DCL: 数据库控制语...
Python造数据工具
04-12
在实际应用中，Python造数据工具可以帮助我们快速构造大规模的测试数据，这对于数据库性能测试、软件功能验证以及数据分析模型的训练都非常有帮助。此外，它还能在教育场景下作为教学辅助工具，让学生通过实际操作...
（工业企业数据库）市级大型、国有以及重工业企业产值数据集（已进行清洗）
04-10
从工业企业数据库导出，并进行清理，获得2003-2008年市级大型、国有以及重 工业产值比重，已通过stata对数据进行清洗，可以直接进行实证论文的数据运用之中 ，整理耗时较长，耗费精力较大，对缺失值、异常值等进行...
IBM DB2400数据库快速入门
01-22
**IBM DB2400数据库快速入门** IBM DB2 400，也被称为IBM iSeries或AS/400，是IBM推出的一种集成的、面向业务的服务器平台，主要用于处理企业级的数据存储和管理任务。它是一款强大的关系型数据库管理系统（RDBMS）...
java快速插入千万级数据
05-25
java快速插入千万级数据，亲测91秒插入1700万数据！！！
APACHE IOTDB：基于开放数据文件格式的 时序数据库.pdf
02-25
6. 支持便捷友好的分析：APACHE IOTDB 支持便捷友好的分析，能够帮助用户快速分析时序数据。 7. 高压缩比：APACHE IOTDB 支持高压缩比，能够减少数据存储空间，提高数据处理效率。 8. 支持百万时间序列：APACHE ...
软件测试中有几种造数据的方法呢？
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
02-09 2098
今天我们一起来聊聊在测试过程中如何进行造数据， 在微信群很多伙伴问到测试执行中需要大量的数据支撑或者性能测试需要数据时，如何更好的、更高效的进行数据制造呢？一起来探讨一下吧。
测试人员如何在测试环境数据库批量生成测试数据？方案分享
deerxiaoluaa的博客
03-02 1244
测试人员为了测试某个特定场景，往往需要在测试环境数据库中插入特定的测试数据来满足需求； 性能测试时，常需要在测试环境生成大量可用测试数据来支持性能测试；
python连接mysql数据库操作数据批量造数据
sophie1314179的博客
11-17 1133
在项目开发过程中，一般情况会需要很多数据来支持程序的各种操作，本文主要介绍python连接数据库，基本的数据库操作，以及批量插入数据。
Mysql数据库编写存储过程生成测试数据，大批量造数据
质量不太好的博客
01-08 1600
Mysql编写存储过程生成测试数据，大批量造数据
在工作中造测试数据的几种方式
大森玩测试
11-28 2053
在软件测试工作中造测试数据常用的5种方式
Mysql如何快速制造千万级测试数据
04-21
你好，关于Mysql如何快速制造千万级测试数据，有几个方法可以尝试： 1. 使用Mysql自带的工具如mysqldump来生成测试数据。可以使用生成器生成模拟数据，然后使用mysqldump将数据导入到Mysql数据库中。 2. 使用第三方工具如DataFactory，可以生成随机数据并批量插入到Mysql数据库中。 3. 使用SQL代码来生成测试数据。可以通过插入语句批量插入数据，或者通过循环来批量插入大量数据。 以上是一些建议，具体实现可以根据需要自行调整。希望能对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值