插入100万行记录,仅需38秒

摘选自网上大神的。虽然没看懂。但是很快,呵呵呵

 

/*
--作者:邹建
--来自:csdn
最近在论坛看到有人问,如何快速生成100万不重复的8位编号,对于这个问题,有几点是需要注意的:
1.    如何生成8位随机数,生成的数越随机,重复的可能性当然越小
2.    控制不重复
3.    考虑性能
针对这个问题,我写了如下的示例来解决,希望能为有这类需求的人提供指导
*/
 
 drop table RFID


 
--创建测试表
CREATE TABLE RFID(RFID nvarchar(250),edittime datetime,editor nvarchar(250) )
 
--创建用于自动过滤重复值的唯一索引
CREATE UNIQUE INDEX IX_tb ON RFID(RFID)
WITH IGNORE_DUP_KEY
GO
 
--测试数据插入的处理时间, 记录开始处理的时间点
DECLARE @dt datetime
SET @dt = GETDATE()
 
--插入随机数据
SET NOCOUNT ON
DECLARE @row int
SET @row = 1000000  -- 设置总记录数
WHILE @row >0
BEGIN
    --显示提示信息, 表示还需要插入多行数据
    RAISERROR('need %d rows', 10, 1, @row) WITH NOWAIT
 
    --插入随机的位编码数据
    SET ROWCOUNT @row
    INSERT RFID SELECT RFID = left(abs(CHECKSUM(NEWID())),6)+left(abs(CHECKSUM(NEWID())),6) ,GETDATE(),'kevin'
    FROM syscolumns c1,syscolumns c2
    SET @row = @row - @@ROWCOUNT
END
 
--显示插入数据使用的时间
SELECT BeginDate = @dt, EndDate = GETDATE(),Seconds = DATEDIFF(Second, @dt, GETDATE())
GO
 
--显示最终的结果记录是否正确
SELECT COUNT(*) FROM RFID
 select * from RFID
 
SET ROWCOUNT 0
SET NOCOUNT OFF
GO
 
--删除测试
--DROP TABLE tb
 
 
/*
解决中用到的技巧:
1.控制产生的数据不重复,直接使用唯一索引中的 IGNORE_DUP_KEY 选项,使插入数据中的重复值自动过滤,避免手工处理重复
2.使用 CHECKSUM 配合 NEWID() 函数,使生成的数据尽量随机,一般生成随机数会考虑使用 RAND() 函数,
 但这个函数是产生伪随机值,用下面的语句测试一下,会发现产生的数据全部是一样的,这不适用于想批量生成多个随机数,
 而NEWID() 函数生成的是GUID,基本上不会有重复的,再通过CHECKSUM将其转化成数字,这样产生重复的可能性会比较小
 SELECT TOP 10 RAND() FROM sysobjects
3.在效率控制,使用循环+批量生成的方式,而不是传统的逐个生成。在SQL Server中,每个插入语句都会有一个内部的事务处理,
 如果逐条插入,则事务的开销太大,效率势必非常低;不考虑一次性生成100万数据,一则因为生成的数据可能有重复的,
 去掉重复就没有100万了,二则一次性生成100万数据,消耗的内存和CPU资源也很高,一般的电脑可能承受不住
*/

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值