EF实现大批量数据库插入操作

最近项目需求需要往SQL Service数据库中创建表来插入大批量数据,数据量为100万左右,因此需要考虑插入效率的问题。根据需求,主要采用EF6.0(EntityFramework)+SQL Service Express2014来实现。
对于如此庞大的数据如果一条条向数据库中添加则会给数据库造成很大负担,同时EF所提供的函数接口无法高效插入如此庞大的数据。例如我们往数据库中添加一条记录:
           `context.gsplog.Add(m_gpsinfo);
                           context.SaveChanges();`   
如果数据量比较庞大,最简单的思路是采用for语句来实现,但是这样插入效率较低,这是因为每次插入都要向数据进行请求操作,此时一方面会给数据库造成较多请求应答,同时数据写入速度严重受限,对于数据量达到100万时根本难以满足需求。例如亲测向数据库写入10000条记录时常规的for循环耗时如下:
![这里写图片描述](https://img-blog.csdn.net/20160804191607704)

此时耗时40s左右,同时随着数据量的增加,写入的速度会越来越慢。因此这种写入方式是不可取的,通过参考http://www.itnose.net/news/171/6306259里面介绍的方法,我们可以在程序的解决方案的引用中选择NuGet管理包中添加这里写图片描述
该扩展方法提供BulkInsert()方法和BulkSaveChanges()方法可以高效地进行写入操作,因此整体思路是采用BulkInsert()方法来进行插入。整个的插入代码和测试时间如下:
var sw = new Stopwatch();
sw.Start();
if(!contex.Database.Exists())
contex.Database.Create();
contex.Database.CommandTimeout = 100;
contex.BulkInsert(list);
contex.BulkSaveChanges();
sw.Stop();

经过测试,导入1135868条记录时耗时为:
这里写图片描述

**

EF6 (Entity Framework 6) 是 Microsoft 提供的一个 ORM(Object-Relational Mapping)框架,用于.NET应用中数据库操作。当你需要插入大量数据时,如果直接通过 Entity Framework 进行批量插入,可能会遇到性能瓶颈,因为 EF 会为每一行数据生成单独的 SQL 语句并发送到数据库,这在数据量大的情况下效率较低。 为了优化 EF6 的大批量数据插入,你可以考虑以下几个策略: 1. **使用 `DbSet.AddRange`**:这个方法可以一次性的将多个实体实例添加到 DbContext 的 DbSet 集合中,然后一次性提交,避免频繁的 DB 操作。例如: ```csharp var entities = new List<YourEntity>(); // 添加大量实体 context.Set<YourEntity>().AddRange(entities); await context.SaveChangesAsync(); ``` 2. **启用 `BulkInsert` 或者 `BULK INSERT` 功能**:虽然 EF6 不直接支持,但可以借助第三方库如 Dapper、SqlBulkCopy 等工具来绕过 EF,直接执行 SQL BULK INSERT,速度更快。 3. **分批次插入**:如果你的数据量非常大,可以考虑将数据分成几个批次进行插入,降低内存消耗。 4. **延迟加载**:尽可能减少 DbContext 中的数据初始化,只在真正需要的时候才加载。 5. **关闭追踪**:使用 `AsNoTracking()` 或者手动设置 `ChangeTracker.IsTracking = false` 可以暂时禁用 Entity 对象的更改跟踪,提高插入速度。 6. **配置数据库连接池**:确保数据库连接的有效复用,以减少创建和销毁连接的时间。 记住,在实际优化之前,最好先对数据库性能做一些基准测试,找出瓶颈所在,再针对性地调整。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值