EF实现大批量数据库插入操作

最近项目需求需要往SQL Service数据库中创建表来插入大批量数据,数据量为100万左右,因此需要考虑插入效率的问题。根据需求,主要采用EF6.0(EntityFramework)+SQL Service Express2014来实现。
对于如此庞大的数据如果一条条向数据库中添加则会给数据库造成很大负担,同时EF所提供的函数接口无法高效插入如此庞大的数据。例如我们往数据库中添加一条记录:
           `context.gsplog.Add(m_gpsinfo);
                           context.SaveChanges();`   
如果数据量比较庞大,最简单的思路是采用for语句来实现,但是这样插入效率较低,这是因为每次插入都要向数据进行请求操作,此时一方面会给数据库造成较多请求应答,同时数据写入速度严重受限,对于数据量达到100万时根本难以满足需求。例如亲测向数据库写入10000条记录时常规的for循环耗时如下:
![这里写图片描述](https://img-blog.csdn.net/20160804191607704)

此时耗时40s左右,同时随着数据量的增加,写入的速度会越来越慢。因此这种写入方式是不可取的,通过参考http://www.itnose.net/news/171/6306259里面介绍的方法,我们可以在程序的解决方案的引用中选择NuGet管理包中添加这里写图片描述
该扩展方法提供BulkInsert()方法和BulkSaveChanges()方法可以高效地进行写入操作,因此整体思路是采用BulkInsert()方法来进行插入。整个的插入代码和测试时间如下:
var sw = new Stopwatch();
sw.Start();
if(!contex.Database.Exists())
contex.Database.Create();
contex.Database.CommandTimeout = 100;
contex.BulkInsert(list);
contex.BulkSaveChanges();
sw.Stop();

经过测试,导入1135868条记录时耗时为:
这里写图片描述

**

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值