SQL Server中采用BULK INSERT实现大数据量文本文件批量导入

今天做了一个基于SQL Server的文本文件批量导入工具,和大家分享一下心得。 

方案一:

遍历文本文件,解析每一行,形成SQL语句后向数据库插入。

方案二

遍历文本文件,解析每一行,将SQL语句保存到文本文件然后执行。

方案三

使用SQL Server Bulk Insert功能披露导入数据,然后在数据库中做数据处理。

刚开始用方案一做的,50MB文本文件导入大约20-25分钟,后来进行了优化,采用数据批量插入,性能提升不大。

继续优化，使用多线程向数据库中插入数据，性能提升10-20%左右，效果也不好。

 

方案二没有完全测试，主要是生成SQL文件耗时15分钟左右，不太理想。

最后使用BULK INSERT,然后在数据库中写脚本对数据进行处理，50MB文件10秒即可导入

    FQuery.SQL.Text := 'BULK INSERT LOGDATA FROM ' + QuotedStr(FFileName)
      + ' WITH (FIELDTERMINATOR = '','', ROWTERMINATOR = ''/n'',  BATCHSIZE = 500)';
    FQuery.ExecSQL;

最后执行大量的UPDATE语句，将数据格式化

建议在做大数据量导入的时候还是用BULK INSERT ，SQL SERVER 性能在那里摆着，一个SQL 4ms,1000行就要4秒，根本快不了