c# 处理大批量数据 时遇到 类型为“System.OutOfMemoryException”的异常

最新推荐文章于 2024-03-02 13:45:21 发布
最新推荐文章于 2024-03-02 13:45:21 发布
阅读量1.2w 收藏 3
点赞数
分类专栏： Oracle c# 文章标签： 大数据处理 c# 内存泄露溢出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bosstwobread/article/details/16343245
版权
本文讲述了在C#中处理大量数据时遇到内存溢出异常的问题及解决方案。由于32位系统内存限制，作者选择通过分批加载和优化SQL查询来避免一次性加载数据到DataTable。通过在内存中分批处理数据并使用Exists关键字优化连表查询，提高处理效率。最终将处理后的数据批量插入到目标数据库，并建议将方法封装以提高复用性。
摘要由CSDN通过智能技术生成

因为业务需要在给客户处理多张表中均存在100W以上数据的时候出现如题错误

原因是在将数据装入DataTable中时所占用内存太大导致

在网上查了下原因后是因为32位软件所能使用的内存有限，本想将软件移植到64位机器上去运行，可因为软件本身所牵涉的32位系统组件过多而放弃

还是打算从软件本身的算法入手


先简单讲下软件的需求吧：总的来说就是要把客户的以前使用过的软件的oracle数据转入到现在我们的软件数据库中，现在他们不用上一家的软件了：）

而这个转换过程中会用到连表这类的操作，所以在百W级数据中进行多张表的连表操作速度是非常慢的，即使我们在数据转换过程中只需要取一次数据就可以了，但是我测算了下，在建立好所有必要的索引后，要将5、6张表的数据进行连接这个操作起码得耗上1、2个小时，当然这还必须是要安装64位的oracle，可因为我之前说过我们的软件用了太多32位系统的组件导致无法采用64位这种模式，所以同学们如果可以的话以后尽量使用64位软件吧，那速度肯定是杠杠的。


好，说完了大致的需求以及问题后，应该寻找解决方案了，为了能使得这个方案显得更加自然，我准备把我寻找该方案的过程也说明一下。

既然不能将所有数据一次性加载到DataTable中，那我们想到当

最低0.47元/天 解锁文章
bosstwobread
关注
专栏目录
windows日志里面报错system.outofmemory
**My Coding Family**
10-11 834
第三方库的AnyCPU编译可能会导致内存问题，特别是在你的应用程序以x86编译和运行时，因为32位应用的内存上限是2GB。解决这个问题的最直接方法是将你的应用编译为x64，这样你可以利用更大的内存空间。同时，确保你的代码和第三方库没有内存泄漏问题，特别是对于长期运行的任务。通过上述方法，你应该能够避免内存溢出的问题，并提高应用程序的稳定性。如果仍有问题，继续跟踪内存使用情况可以帮助进一步定位问题。希望如上措施及解决方案能够帮到有需要的你。
文件上传之--内存溢出(System.OutOfMemoryException)
weixin_30297281的博客
07-21 2220
两周前就想把这点经验记录下来了，由于拖延症上身，直到刚才突然想起这件未完成的任务，今天是1024，在这个特别的日子里，祝所有程序猿兄弟姐妹们节日快乐！ 上传功能一直很正常，直到上传了个500多兆的文件，报错提示： “System.OutOfMemoryException”类型的异常在 mscorlib.dll 中发生，但未在用户代码中进行处理 对于内部用途和新的托管对象，确保要有足够的内存可...
C# DataTable 批量数据处理 增、删、改
mikemiller2的专栏
04-16 4997
1.批量新增，采用高效的SqlBulkCopy [csharp] view plain copy print? using (SqlBulkCopy sbc = new SqlBulkCopy(db.ConnectionString))                  {                      sbc.DestinationTableName
c# 批量处理数据录入
开发之路
08-13 1286
1 c# 分批处理数据录入 2 3 //using System.Text; 4 5 //using System.Data; 6 7 //using System.Data.SqlClient; 8 9 //using System; 10 11 //namespace InsertEfficiency ...
C#处理大批量数据
qq_45244974的博客
06-09 4542
using System; using System.Collections.Concurrent; using System.Collections.Generic; using System.Text; using System.Threading; using System.Threading.Tasks; namespace ConsoleApi { /// <summary> /// 多线程批量数据处理 /// </summary> p.
C# 多线程+队列处理大批量数据，进而缩短处理时间
newbie的博客
07-17 2790
转载连接：https://blog.csdn.net/wangtinglong1/article/details/78890645 public void DealData(){ int pageSize = 200; //创建队列 var queue = new MessageQueueManager&lt...
C#百万数据处理
技术分享博客
07-30 1095
这里我给大家带来一个我自己所经历的百万数据处理案例，该案例中会拿优化前和优化后的代码进行对比，让大家更直观的感受优化给项目带来的效率提升。该项目优化用到了：线程同步，多线程，sqlSugar,异步，委托等知识。以上就是我个人所经历的大数据处理，虽然优化的并不算完美但是还是总结出了不少经验，也从中学习到了很多，比如，单线程和多线程的运用以及委托和线程同步等知识。
C#处理大容量数据，及多线程简单应用
08-26
应用线程解决界面的假死状态，应用高级SQL语句执行快速导入、导出数据操作。
SQL Server出现System.OutOfMemoryException异常的解决方法
09-10
标题中的“SQL Server出现System.OutOfMemoryException异常的解决方法”指的是在使用SQL Server时遇到的一种常见错误，即系统内存不足异常（System.OutOfMemoryException）。这种异常通常发生在SQL Server试图处理的...
Net 内存溢出（System.OutOfMemoryException）的常见情况和处理方式总结
09-23
在什么情况下会出现OutOfMemonryException呢? 在我们试图新建一个对象时,而垃圾收集器又找不到...异常的; 另一种情况是,CLR需要内存时,而却系统却不能提供,也会抛出该异常. 但此时,我们的应用程序是不能捕获该错误的.
c#+wpf项目性能优化之OutOfMemoryException解密
weixin_34235371的博客
04-08 830
近期，使用c#+wpf开发的软件准备正式投入使用了，使用前进行了大量的测试，测试后发现了一些问题，其中最让人头疼的就是软件的性能问题（稳定性）。 这里的稳定性具体表现在机器的cpu占有率和内存使用情况： 1，CPU占用率节节攀升。 2，可用内存越来越少，最后爆OutOfMemoryException。 这两点足以影响软件的应用，一日不除，终日不得安宁！ ...
引发类型为“System.OutOfMemoryException”的异常
weixin_30572613的博客
10-31 8930
在运维工作中，经常能接到客户的反馈这个：引发类型为“System.OutOfMemoryException”的异常。客户反馈物理内存都还有富余，怎么报内存不足的错误呢！ 什么时候会引发System.OutOfMemoryException：操作系统无法满足GC对连续内存块的请求，则会发生System.OutOfMemoryException 可能原因1：内存真的不够了，连虚拟内存都用完了。2：...
C#编写大计算量程序总是报内存溢出System.OutOfMemoryException的重要原因
成长中の稻草人
04-26 4301
内存溢出问题
.NET(C#) 使用 ADO.NET 上万条海量数据大批量插入优化的方法
weixin_52026996的博客
11-13 762
.NET（C#）中使用 ADO.NET 大批量插入海量数据时，将大批量数据全部加载到内存中可能导致内存消耗过高，甚至导致内存溢出。
C#高性能的批量数据处理方案
farway000的博客
07-19 1726
我们经常会遇到这样的数据处理应用场景：我们利用一个组件实时收集外部交付给它的数据，并由它转发给一个外部处理程序进行处理。考虑到性能，它会将数据存储在本地缓冲区，等累积到指定的数量后打包发送；考虑到实时性，数据不能在缓冲区存太长的时间，必须设置一个延时时间，一旦超过这个时间，缓冲的数据必须立即发出去。看似简单的需求，如果需要综合考虑性能、线程安全、内存分配，要实现起来还真有点麻烦。这个问题有不同的解...
System.OutOfMemoryException
那一份抹不去的光辉
12-02 1209
处理报表时出错。引发类型为“System.OutOfMemoryException”的异常。   在数据查询时一次性放入datatable 大概220000条，但绑定到数据时就出现以上错误！！ this.ReportViewer1.LocalReport.ReportPath = Server.MapPath("../statistics/Template/") + ReportNa
C#如何处理上亿级数据的查询效率
最新发布
03-02 1445
处理上亿级数据的查询效率是一个系统级的挑战，涉及多个层面的技术决策和实践。注意以上示例仅为概念展示，实际应用时请根据具体情况调整。同时，在处理海量数据时，务必关注系统的整体架构设计和资源优化。
C Sharp 如何高效的处理大量的数据
weixin_35756892的博客
01-13 383
C#可以使用多线程和并行编程来高效处理大量数据。可以使用.NET Framework提供的并行编程库，如Parallel.For和Parallel.ForEach来实现并行循环。还可以使用TPL(Task Parallel Library)来创建和管理多个线程。此外，可以使用LINQ中的AsParallel()扩展方法将查询转换为并行查询。 ...
power bi 引发类型为“system.outofmemoryexception”的异常
09-10
Power BI是一款用于数据分析和可视化的强大工具，但在处理大量数据或复杂计算时，可能会引发一些异常，其中之一就是“System.OutOfMemoryException”异常。 当我们在Power BI中加载或处理大量数据时，可能会遇到内存不足的问题，导致系统无法为应用程序分配足够的内存空间，从而引发“System.OutOfMemoryException”异常。 这种异常的出现通常是由以下原因引起的： 1. 数据量过大：当我们尝试加载和处理大量的数据时，系统的内存可能无法容纳全部数据，导致内存不足的异常。 2. 复杂的计算：如果我们在Power BI中进行复杂的计算操作，可能会消耗大量的内存资源，从而导致内存溢出。 3. 不合理的内存管理：如果我们在Power BI中使用了不合理的内存管理方法，例如频繁地创建和销毁对象，可能会造成内存碎片和内存泄漏，最终导致内存不足异常。 为了解决这个问题，我们可以尝试以下方法： 1. 减少数据量：如果我们的数据集过大，可以考虑筛选、聚合或分段加载数据，以减少内存压力。 2. 优化计算操作：优化复杂计算的算法，减少计算量，提高计算效率，从而减少内存占用。 3. 合理管理内存：在编写Power BI代码时，合理利用内存，避免不必要的内存分配和释放操作，例如使用缓存、复用对象等方法来减少内存占用。 4. 增加系统内存：如果以上方法无法解决问题，可以考虑扩大系统的内存容量，以支持更大规模的数据处理和计算操作。 总之，当我们在Power BI中遇到“System.OutOfMemoryException”异常时，需要仔细分析异常引发的原因，并采取相应的优化措施来解决该问题。同时，合理规划和管理内存资源，以确保应用程序在处理大数据量和复杂计算时不会出现内存不足的异常。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值