今天做了一个基于SQL Server的文本文件批量导入工具,和大家分享一下心得。
方案一:
遍历文本文件,解析每一行,形成SQL语句后向数据库插入。
方案二
遍历文本文件,解析每一行,将SQL语句保存到文本文件然后执行。
方案三
使用SQL Server Bulk Insert功能披露导入数据,然后在数据库中做数据处理。
刚开始用方案一做的,50MB文本文件导入大约20-25分钟,后来进行了优化,采用数据批量插入,性能提升不大。
继续优化,使用多线程向数据库中插入数据,性能提升10-20%左右,效果也不好。
方案二没有完全测试,主要是生成SQL文件耗时15分钟左右,不太理想。
最后使用BULK INSERT,然后在数据库中写脚本对数据进行处理,50MB文件10秒即可导入
FQuery.SQL.Text := 'BULK INSERT LOGDATA FROM ' + QuotedStr(FFileName)
+