各数据库千万级数据构造

前提

领导希望看到平台支持的各种数据库在大数据量的情况分页,查询的情况,所以就有了前提工作,准备构造千万级的数据,在网上找了各种数据库别人构造的文档,后面整理了这篇。

一、sqlserver

declare  @i int
declare  @j int
set  @i = 1
while @i <= 1000
begin
set  @j = 1
begin  tran 
while @j <= 10000
begin
insert into
   [zlyTest].[dbo].[SS_TYPE](test1,test2,test3,test4,test5,test6,test7,test8,test9,test10,test11,test12,test13,test14,test15,test16,test17,test18,test19) values(1,'1','1','2021-04-14 10:23:03','2021-04-14 10:23:06','2021-04-14 10:23:08',1.1,1.1,1,'1','1','1',1,'1','2021-04-14 10:23:29',1,'1','1','1')
set  @j = @j + 1 
end
commit tran
set @i = @i + 1
end
执行结果

按1万条提交一次,1000万大约要50分钟

二、mysql

DROP PROCEDURE IF EXISTS proc_buildata;
DROP PROCEDURE IF EXISTS proc_buildata_fast;

CREATE PROCEDURE proc_buildata(IN loop_times INT)
BEGIN
        DECLARE var INT DEFAULT 0;
        SET AUTOCOMMIT=0;
        START TRANSACTION;
        WHILE var<loop_times DO
                SET var=var+1;
                INSERT INTO ZLYTEST.SS_TYPE (test1,test2,test3,test4,test5,test6,test7,test8,test9,test10,test11,test12,test13,test14,test15,test16,test17,test18,test19,test20,test21,test22,test23,test24,test25) VALUES (1,'1','1','1','2021-04-14 00:00:00','2021-04-14 11:01:08',1,1.1,1,1,1,'1','1','1','1','1',1,1,'1','1970-01-01 11:01:28','2021-04-14 11:01:32','1',1,'1','1');
        END WHILE;
        COMMIT;
        SET AUTOCOMMIT=1;
END;

CREATE PROCEDURE proc_buildata_fast(IN loop_times INT)
BEGIN
        DECLARE single_max INT DEFAULT 100000;
        DECLARE i INT DEFAULT 0;
        DECLARE max INT DEFAULT 0;
        SET max=loop_times/single_max;
        SET i=0;
        WHILE i<max DO
                SET i=i+1;
                CALL proc_buildata(single_max);
        END WHILE;
END;

CALL proc_buildata_fast(10000000);
执行结果

按10万条提交一次,1000万大约要91分钟

三、oracle

declare
i integer; --定义变量
begin
i := 1;
loop
/* 插入数据 */
 INSERT INTO SS_TYPE (test1,test2,test3,test4,test5,test6,test7,test8,test9,test10,test11,test12,test13,test14,test15,test16) VALUES ('1','1','1',to_date('2021-04-14 11:21:11' , 'yyyy-mm-dd hh24:mi:ss'),1.1,1.1,1,1,'1',1.1,1.1,'1',1,to_date('2021-04-14 11:21:20' , 'yyyy-mm-dd hh24:mi:ss'),'1','1');
/* 参数递增 */
i := i + 1;
/* 停止条件 */
exit when i > 10000000;
end loop;
commit;
end;

四、达梦

DECLARE
 i int :=1;
BEGIN
   FOR i IN 1..10000000 LOOP
 INSERT INTO "ss_type"(COLUMN_1,COLUMN_2,COLUMN_3,COLUMN_4,COLUMN_5,COLUMN_6,COLUMN_7,COLUMN_8,COLUMN_9,COLUMN_10,COLUMN_11,COLUMN_12,COLUMN_13,COLUMN_14,COLUMN_15,COLUMN_16,COLUMN_17,COLUMN_18,COLUMN_19) VALUES ('1','1','1',1.1,1.1,1.1,1,1,1,1,1,1.1,1.1,'2021-04-14 14:11:06','2021-04-14 14:11:03','2021-04-14 14:11:05','2021-04-14 14:11:01','1','1');
   END LOOP;
END;
COMMIT

执行时间

1000万大约要15分钟

五、人大金仓

CREATE OR REPLACE PROCEDURE proc_buildata() AS
DECLARE
v_id integer :=1;
BEGIN
FOR i IN 1..100000 LOOP
INSERT INTO "ss_type"(test1,test2,test3,test4,test5,test6,test7,test8,test9,test10,test11,test12,test13,test14,test15,test16,test17,test18,test19,test20,test21,test22) VALUES ('1','1','2021-04-14 11:45:28','2021-04-14 11:45:26','2021-04-14 11:45:30',1,1,1,1,1,1,1,1.1,1.1,1.1,'1','1','1',false,1,1,'1');
v_id := v_id+1;
END LOOP;
END;
CALL proc_buildata();

六、神通

declare
i integer; --定义变量
begin
i := 1;
loop
/* 插入数据 */
 INSERT INTO "SS_TYPE"(COLUMN1,COLUMN4,COLUMN7,COLUMN8,COLUMN9,COLUMN10,COLUMN11,COLUMN18,COLUMN19,COLUMN20,COLUMN21,COLUMN22,COLUMN23,COLUMN24,COLUMN25,COLUMN26,COLUMN27) VALUES('1','1','1','1','2021-04-14 11:45:28',1.1,1.1,'1',1.1,1.1,1.1,1,'1','2021-04-14 11:45:26','2021-04-14 11:45:30','1','1');
/* 参数递增 */
i := i + 1;
/* 停止条件 */
exit when i > 100000;
end loop;
commit;
end;

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Java作为一门编程语言,拥有强大的多线程支持,通过利用Java多线程技术,可以有效地解决在数据库插入千万级数据时的性能瓶颈问题。 但是,在多线程插入数据库时,需要注意以下几点: 1.连接数限制 数据库通常会有连接数限制,过多的连接会导致数据库性能下降,通过使用连接池可以有效地控制连接数。 2.事务处理 在大数据量插入时,一次性插入可能会出现异常,这时候需要使用数据库事务管理技术,可以回滚错误的数据,确保数据的完整性。 3.线程数控制 线程数是需要根据机器的配置和系统负载情况合理调整的,过多的线程会浪费资源,过少的线程会导致性能下降。 4.数据批量提交 将需要插入的数据进行分批处理,进行批量提交,可以减少数据库交互次数,提高性能。 综上所述,通过合理利用Java多线程技术以及上述注意事项,在数据库插入千万级数据时,可以大大提高系统的性能,确保数据的有效插入。 ### 回答2: Java多线程数据库插入千万级数据是一项比较复杂的任务。在此之前需要确保数据库的表结构已经建立好,并且在写入数据时需要进行数据分析和处理,尽可能地优化数据的结构和存储方式。 为了提高插入数据的效率,可以采用多线程方式进行数据库插入操作。多线程技术可以将数据分批处理,每个线程负责一部分数据的插入。这样可以有效地提高数据的插入速度和效率。但同时也需要考虑到线程之间的同步问题,以及数据库的并发访问能力。 在进行多线程数据库插入时,需要注意以下几点: 1. 数据库连接池的使用:为了减少数据库连接和关闭的开销,可以采用数据库连接池的方式管理数据库连接。 2. 多线程的线程池:可以使用线程池来管理线程的数量,以控制系统资源的使用和避免过度消耗内存和CPU等资源。 3. 分批插入数据:可以将数据分成若干个批次进行插入,每个线程负责一部分数据的插入,这样可以减少单个事务的大小和对数据库的负载。 4. 数据库的并发控制:需要使用数据库的并发控制机制,以避免多个线程同时访问数据库时出现死锁等问题。 5. 数据结构和数据处理优化:需要对插入的数据进行预处理和优化,以充分利用数据库的性能优势,例如采用批量插入等方式。 总之,要在Java多线程数据库插入千万级数据时,需要对数据结构、线程安全和并发访问等方面进行深入的思考和优化,以达到最佳的性能和效率。 ### 回答3: Java 多线程对于数据库的插入千万级数据是一个非常明智的选择。使用多线程可以将数据插入过程分成多个小块,每个小块都可以被单独处理,从而加快整个过程,提高插入数据的效率。 以下是 Java 多线程数据库插入千万级数据的一些重要步骤和技巧: 1. 数据分片:在将数据插入到数据库之前,需要将数据划分成多个小块。这些小块中的数据可以并行插入到数据库中,这样可以提高插入数据的速度。 2. 在每个小块中使用多线程:在每个小块中,可以使用多个线程同时进行数据插入。这样可以充分利用所有可用资源,从而提高整个过程的效率。 3. 使用连接池:连接池可以帮助我们管理数据库连接,并提供连接复用、线程安全等功能。这样可以减少连接创建和销毁的开销,缩短数据插入时间。 4. 使用 batch 方式插入数据:在插入数据时,可以使用 batch 方式批量插入数据,这样可以减少与数据库的交互次数,从而提高插入数据的效率。 5. 优化 SQL 语句:在插入数据时,需要使用高效的 SQL 语句。例如,可以使用批量插入语句、预处理语句、存储过程等方式,减少 SQL 语句的执行时间和开销。 6. 监控和优化:在数据插入过程中,需要实时监控系统资源的使用情况,及时检测并调整线程数、连接池大小等参数,以保证系统的稳定性和高效性。 7. 数据库性能优化:对于千万级数据的插入,数据库的性能优化也非常重要。例如,可以优化数据库的索引、表分区、缓存等,以提高数据库的查询和插入效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值