ef mysql 优化_一次EF批量插入多表数据的性能优化经历

最新推荐文章于 2021-05-27 19:30:15 发布
最新推荐文章于 2021-05-27 19:30:15 发布
阅读量413 收藏
点赞数
文章标签： ef mysql 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33220713/article/details/113564068
版权
本文分享了一次针对EF MySQL批量插入多表数据的性能优化经验。通过分批读取、减少SaveChanges次数和优化事务使用，将400000订单的迁移时间从分钟级降至小时级。主要措施包括：批量查询数据、分三次插入并利用EF的数据追踪功能、控制事务范围以及避免在单一DbContext中多次SaveChange。
摘要由CSDN通过智能技术生成

距离上次的博客已经有15个多月了，感慨有些事情还是需要坚持，一旦停下来很有可能就会停很久或者从此再也不会坚持。但我个人一直还坚持认为属于技术狂热份子，且喜欢精益求精的那种。最近遇到两个和数据迁移相关的项目，均遇到需要性能优化的问题，这里拿第二个项目的一个小优化过程与大家分享，技术并不高深，我注重的是解决问题的过程。我的方案是有业务背景以及技术背景限制的，不一定适合其它项目，优化是相对的。

51654b5410472ca1db7d4b8d72756b12.png

业务场景：我们需要迁移一批老的合同订单数据，其有一个合同的订单数为519条，迁移到新表中会涉及到主要的4个表，就是说519条老数据，会变成519*4。

技术背景：数据库是mysql,后台采用的是微软的EF

598ebb0891425f73cb2da44785dce862.png

问题：迁移这批订单当时最好的性能方案是14秒(未优化前是分钟级别)，我们总共有400000订单，算下最理想状态下的总时间：=(14/519)*400000/3600=3小时，再算下取数据，转换数据的时间，基本要4小时。如果中途有异常，这个时间可能需要一夜甚至更长的时间才能迁移完，这真正恶梦。<

最低0.47元/天 解锁文章
范奕信
关注
Mysql EF 数据录入&批量数据录入
L.的博客
12-07 169
逐条录入数据 /// <summary> /// 一条条进行数据录入 /// </summary> /// <param name="tableName"></param> /// <param name="dt"></param> /// <returns></returns> private static int InsertDataTable(string tableName, DataTable dt)
mysql ef批量添加数据_Mysql EF 数据录入&批量数据录入
weixin_42357663的博客
01-19 512
逐条录入数据/// /// 一条条进行数据录入/// /// /// /// private static int InsertDataTable(string tableName, DataTable dt){//循环列，循环每行，执行insert sql语句string colStr = "";List col = new List();foreach (DataColumn column i...
插入关联表数据的优化方法(转)
CQ-IT-ZONE
12-28 395
 在应用开发的时候经常会使用到一对多、多对多之类的关联表，在插入数据比较多的时候可以考虑优化的方法。举个简单的例子，有个用户表User和用户组表Group，两者之间通过关联表GroupUser关联多对多关系。假设要在Group表中的id为2的组添加多个用户，id分别为2,3,4,5 通常在写入关联表的时候会使用下面的方法SQL 查询:INSERT INTO groupUser VALU
SQL优化 MySQL版 - 多表优化及细节详讲
weixin_33860737的博客
03-04 399
SQL优化 MySQL版 - 多表优化及细节详讲 优化准备 首先我们需要有一个数据库，coursedb，分别创建course（课程表）、teacher（老师表），有以下字段，我们接下来将用以下这张表来做优化实例； teacher表里面的id 是代表一号老师教2号课程2号老师教1号课程3号老师教三号课程；id是主键 course表就是课程表1号代表ja...
EF MYSQL批量更新_EF6学习笔记十二：Update操作、批量数据操作
weixin_42397024的博客
02-01 698
要专业系统地学习EF前往《你必须掌握的Entity Framework 6.x与Core 2.0》这本书的作者(汪鹏，Jeffcky)的博客：https://www.cnblogs.com/CreateMyself/数据操作CRUD，我们只说Update,因为在EF中Update有点复杂 后面我们说批量数据更新Update操作上下文没有提供Update方法，所以我们要更新操作一般都是将数据查询出...
EF批量更新、批量插入、 批量删除使用的是EFUtilities,免费的操作简单，速度超级快
01-11
在.NET开发中，Entity Framework（简称EF）是一个强大的对象关系映射（ORM）框架，它允许开发者使用...通过其简单的API，开发者可以轻松地集成到现有的EF项目中，实现批量插入、更新和删除，从而优化应用程序的性能。
c# mysql 插入大量数据_c#批量插入上万条数据到mysql中的方法
weixin_31300697的博客
02-04 2197
本节主要内容：批量插入上万条数据到mysql的方法本文使用了mysql的批量数据格式，例如：INSERT INTO TABLES (LABLE1,LABLE2,LABLE3,...)VALUES(NUM11,NUM12,NUM13,...),(NUM21,NUM22,NUM23,...),....(NUMn1,NUMn2,NUMn3,..);每个账户的每个采集点就会生成几百个数据，这几百个数据我组...
C#.NET中如何批量插入大量数据到数据库中
09-03
在C#.NET中批量插入大量数据到数据库是一个常见的任务，特别是在处理诸如从Excel文件导入数据等场景时。这里，我们将探讨如何使用C#.NET高效地完成这个任务，并提供一个简单的示例来说明整个过程。 首先，我们需要...
EF大批量插入数据的性能调优思路
L.C's Tecnology Factory
12-05 3248
最近碰到一个需求：需要从XML格式的文本中解析数据，并写入数据库表中。遇到这种情况自然是EF+WinForm开干，写完程序之后跑了一下，发现速度有点慢，因为数据急着要，所以就这么拿去用了。最后实际运行的速度大概是2W条数据10分钟左右。 后面仔细想了想，性能不应该这么低才对。首先想到会不会是多线程的问题，于是看了下资源监视器，所有核心都是在跑的。 （程序运行时的CPU占用） 然后在代码里...
first() mysql_EF6配合MySQL或MSSQL(CodeFirst模式)配置指引
weixin_39921131的博客
01-25 143
一、新建一个解决方案，包含两个项目：EF6CodeFirstMySQL.Model(动态库项目)，EF6CodeFirstMySQL.Tests(控制台应用)二、通过NuGet将EntityFramework6及MySql.Data.Entity包引入解决方案(两个项目都要引入)三、在Model项目中添加三个类，BaseBill，Contract，DeliveryNote，后面两个类从BaseBi...
EF批量操作数据，增删改查
12-28
该项目用了VS2017 使用了三种方法进行对数据库的批量操作， SqlBulkCopy , EntityFramework.Extended.6.1.0.168 ,Dapper.1.50.5,EFUtilities.1.0.2 , Z.EntityFramework.Extensions.3.16.17
EntityFramework.BulkInsert：EntityFramework6的快速批量插入
02-03
EntityFramework.BulkInsert 从Codeplex站点上的原始版本更新了EntityFramework.BulkInsert的端口。 这不是我的原始项目，而是继续进行并添加较小的更新和支持。 原始文件托管在Codeplex上，但后来被删除了。 从那时起，该项目就获得了对异步IO的支持，错误修复，显式事务支持以及对MySql的支持。 NuGet 有几种可用的NuGet软件包： EntityFramework6.BulkInsert EntityFramework6.BulkInsert.SqlServerCe EntityFramework6.BulkInsert.MySql 目的 该库的目的是使用EntityFramework 6和您现有的DbContext实例执行批量插入，以执行更快的插入，而不是为一组强类型对象生成多个insert语句。 用法 IEnumerable < Car> cars = GenerateCars (); using ( var context = GetDbContext ()) { context . Bulk
EF扩展方法BulkInsert（批量添加）
06-28
Entity Farmework扩展方法，批量添加（BulkInsert）。
EF大数据批量添加性能问题
anmida5311的博客
08-21 264
前几天做一个批量发消息的功能，因为要向消息表中批量写入数据，用的EF框架的插入方法；不用不知道，一用吓一跳；就10000条数据就耗时好几分钟，对应追求用户体验的我来说这是极不能容忍的，后来改为拼接SQL，性能提高了好几倍；现在来分享一下经验： 原始的方法类似这种： 1 public ActionResult Add(ItemDetails entity) 2...
ef和mysql使用（二）--让mysql支持EntityFramework.Extended实现批量更新和删除
diaonv9164的博客
07-31 440
我们都知道Entity Framework 中不能同时更新多条记录，但是一个老外写的扩展库可以实现此功能EntityFramework.Extended，但是如何是mysql数据库要怎么实现呢 首先实现一个自定义类继承于MySqlEFConfiguration： public class MySqlDBconfiguration : MySqlEFConfiguration ...
EF的批量操作
weixin_33859231的博客
01-24 173
之前在一个临时迁移数据的项目中需要使用到EF针对Mysql的批量操作，因为该项目具备以下条件： 是临时性的，数据掐迁移完成后就不再使用， 同时有一定的效率要求 项目中的实体在其他项目中都是基于EF的，已经写好了Model 考虑到尽可能的减少工作量，最快捷的方式是找到一个支持EF批量操作的框架，因为Model已经是现成的，写linq肯定还是比写原生sql方便一些，然后就找到了Entity F...
EF操作mysql 数据库记录
伊人如梦
09-25 344
1.vs2017连接mysql 数据库前提： 需要安装 mysql-connector-odbc-8.0.12-winx64.msi mysql-for-visualstudio-1.2.8.msi mysql-connector-net-6.10.8.msi 且 mysql-connector-net 版本需要和mysql 版本保持一致，否则添加实体对象模型的时候会存在闪退的情况。 ...
EF多表操作
m0_49928665的博客
05-27 706
EF多表操作多表操作（这是双表操作）完整创建web程序并搭建三层创建完整SQL Server数据库和表引用ADO.NET实体数据模型编辑DAL类编写BLL类编写视图层添加界面代码编写视图层后台代码添加界面后台代码这便是一个完整的多表操作 多表操作（这是双表操作） 完整创建web程序并搭建三层 先创建一个web程序并在同一个解决方案内创建BLL，Model和DAL三个类库 并添加好引用 创建完整SQL Server数据库和表 创建完数据库和表之后添加数据并检查好各个表之间的联系，记得设置主外键 引用ADO.N
c#对mysql的批量插入
海阔天空的专栏
08-12 7390
一、背景介绍         前段时间，由于工作需要，实现了C#对mysql进行大批量记录进行插入，也包括单条插入。最先，在网上搜了很久，网上的例子非常少，难道是mysql不够普及，还是mysql作为开源数据库不被大厂商采用，总之，搜来搜去就那几个例子，并且有的编译错误、有的语句不完整，没有一个可以拿来使用的完整、正确的程序。后来，通过咨询同事、查阅资料，经过一系统的拼凑、试验，终于执行成功，并
EF6 插入大批量数据性能慢优化
最新发布
09-10
EF6 (Entity Framework 6) 是 Microsoft 提供的一个 ORM（Object-Relational Mapping）框架，用于.NET应用中数据库操作。当你需要插入大量数据时，如果直接通过 Entity Framework 进行批量插入，可能会遇到性能瓶颈，因为 EF 会为每一行数据生成单独的 SQL 语句并发送到数据库，这在数据量大的情况下效率较低。 为了优化 EF6 的大批量数据插入，你可以考虑以下几个策略： 1. **使用 `DbSet.AddRange`**：这个方法可以一次性的将多个实体实例添加到 DbContext 的 DbSet 集合中，然后一次性提交，避免频繁的 DB 操作。例如： ```csharp var entities = new List<YourEntity>(); // 添加大量实体 context.Set<YourEntity>().AddRange(entities); await context.SaveChangesAsync(); ``` 2. **启用 `BulkInsert` 或者 `BULK INSERT` 功能**：虽然 EF6 不直接支持，但可以借助第三方库如 Dapper、SqlBulkCopy 等工具来绕过 EF，直接执行 SQL BULK INSERT，速度更快。 3. **分批次插入**：如果你的数据量非常大，可以考虑将数据分成几个批次进行插入，降低内存消耗。 4. **延迟加载**：尽可能减少 DbContext 中的数据初始化，只在真正需要的时候才加载。 5. **关闭追踪**：使用 `AsNoTracking()` 或者手动设置 `ChangeTracker.IsTracking = false` 可以暂时禁用 Entity 对象的更改跟踪，提高插入速度。 6. **配置数据库连接池**：确保数据库连接的有效复用，以减少创建和销毁连接的时间。 记住，在实际优化之前，最好先对数据库性能做一些基准测试，找出瓶颈所在，再针对性地调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值