最近项目需求需要往SQL Service数据库中创建表来插入大批量数据,数据量为100万左右,因此需要考虑插入效率的问题。根据需求,主要采用EF6.0(EntityFramework)+SQL Service Express2014来实现。
对于如此庞大的数据如果一条条向数据库中添加则会给数据库造成很大负担,同时EF所提供的函数接口无法高效插入如此庞大的数据。例如我们往数据库中添加一条记录:
`context.gsplog.Add(m_gpsinfo);
context.SaveChanges();`
如果数据量比较庞大,最简单的思路是采用for语句来实现,但是这样插入效率较低,这是因为每次插入都要向数据进行请求操作,此时一方面会给数据库造成较多请求应答,同时数据写入速度严重受限,对于数据量达到100万时根本难以满足需求。例如亲测向数据库写入10000条记录时常规的for循环耗时如下:
![这里写图片描述](https://img-blog.csdn.net/20160804191607704)
此时耗时40s左右,同时随着数据量的增加,写入的速度会越来越慢。因此这种写入方式是不可取的,通过参考http://www.itnose.net/news/171/6306259里面介绍的方法,我们可以在程序的解决方案的引用中选择NuGet管理包中添加
该扩展方法提供BulkInsert()方法和BulkSaveChanges()方法可以高效地进行写入操作,因此整体思路是采用BulkInsert()方法来进行插入。整个的插入代码和测试时间如下:
var sw = new Stopwatch();
sw.Start();
if(!contex.Database.Exists())
contex.Database.Create();
contex.Database.CommandTimeout = 100;
contex.BulkInsert(list);
contex.BulkSaveChanges();
sw.Stop();
经过测试,导入1135868条记录时耗时为:
**