c# 处理大批量数据 时遇到 类型为“System.OutOfMemoryException”的异常

最新推荐文章于 2024-11-01 14:14:08 发布
最新推荐文章于 2024-11-01 14:14:08 发布
阅读量1.2w 收藏 3
点赞数
分类专栏： Oracle c# 文章标签： 大数据处理 c# 内存泄露溢出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bosstwobread/article/details/16343245
版权
本文讲述了在C#中处理大量数据时遇到内存溢出异常的问题及解决方案。由于32位系统内存限制，作者选择通过分批加载和优化SQL查询来避免一次性加载数据到DataTable。通过在内存中分批处理数据并使用Exists关键字优化连表查询，提高处理效率。最终将处理后的数据批量插入到目标数据库，并建议将方法封装以提高复用性。
摘要由CSDN通过智能技术生成

因为业务需要在给客户处理多张表中均存在100W以上数据的时候出现如题错误

原因是在将数据装入DataTable中时所占用内存太大导致

在网上查了下原因后是因为32位软件所能使用的内存有限，本想将软件移植到64位机器上去运行，可因为软件本身所牵涉的32位系统组件过多而放弃

还是打算从软件本身的算法入手


先简单讲下软件的需求吧：总的来说就是要把客户的以前使用过的软件的oracle数据转入到现在我们的软件数据库中，现在他们不用上一家的软件了：）

而这个转换过程中会用到连表这类的操作，所以在百W级数据中进行多张表的连表操作速度是非常慢的，即使我们在数据转换过程中只需要取一次数据就可以了，但是我测算了下，在建立好所有必要的索引后，要将5、6张表的数据进行连接这个操作起码得耗上1、2个小时，当然这还必须是要安装64位的oracle，可因为我之前说过我们的软件用了太多32位系统的组件导致无法采用64位这种模式，所以同学们如果可以的话以后尽量使用64位软件吧，那速度肯定是杠杠的。


好，说完了大致的需求以及问题后，应该寻找解决方案了，为了能使得这个方案显得更加自然，我准备把我寻找该方案的过程也说明一下。

既然不能将所有数据一次性加载到DataTable中，那我们想到当

最低0.47元/天 解锁文章
C#处理大批量数据
qq_45244974的博客
06-09 4819
using System; using System.Collections.Concurrent; using System.Collections.Generic; using System.Text; using System.Threading; using System.Threading.Tasks; namespace ConsoleApi { /// <summary> /// 多线程批量数据处理 /// </summary> p.
c# 批量处理数据录入
开发之路
08-13 1314
1 c# 分批处理数据录入 2 3 //using System.Text; 4 5 //using System.Data; 6 7 //using System.Data.SqlClient; 8 9 //using System; 10 11 //namespace InsertEfficiency ...
c#中 Exception of type 'System.OutOfMemoryException' was throw的解决办法
autumn20080101的专栏
05-18 1835
c#中 Exception of type 'System.OutOfMemoryException' was throw的解决办法 2014-11-06 21:56 1134人阅读 评论(0) 收藏 举报 本文章已收录于： 分类： Ｃ#编程技术（36） 作者同类文章X 版权声明：本文为博主原创文章，未经博
c#+wpf项目性能优化之OutOfMemoryException解密
weixin_34235371的博客
04-08 866
近期，使用c#+wpf开发的软件准备正式投入使用了，使用前进行了大量的测试，测试后发现了一些问题，其中最让人头疼的就是软件的性能问题（稳定性）。 这里的稳定性具体表现在机器的cpu占有率和内存使用情况： 1，CPU占用率节节攀升。 2，可用内存越来越少，最后爆OutOfMemoryException。 这两点足以影响软件的应用，一日不除，终日不得安宁！ ...
C# 多线程+队列处理大批量数据，进而缩短处理时间
newbie的博客
07-17 2833
转载连接：https://blog.csdn.net/wangtinglong1/article/details/78890645 public void DealData(){ int pageSize = 200; //创建队列 var queue = new MessageQueueManager&lt...
C#百万数据处理
技术分享博客
07-30 1168
这里我给大家带来一个我自己所经历的百万数据处理案例，该案例中会拿优化前和优化后的代码进行对比，让大家更直观的感受优化给项目带来的效率提升。该项目优化用到了：线程同步，多线程，sqlSugar,异步，委托等知识。以上就是我个人所经历的大数据处理，虽然优化的并不算完美但是还是总结出了不少经验，也从中学习到了很多，比如，单线程和多线程的运用以及委托和线程同步等知识。
C#处理大容量数据，及多线程简单应用
08-26
应用线程解决界面的假死状态，应用高级SQL语句执行快速导入、导出数据操作。
引发类型为“System.OutOfMemoryException”的异常
weixin_30572613的博客
10-31 9439
在运维工作中，经常能接到客户的反馈这个：引发类型为“System.OutOfMemoryException”的异常。客户反馈物理内存都还有富余，怎么报内存不足的错误呢！ 什么时候会引发System.OutOfMemoryException：操作系统无法满足GC对连续内存块的请求，则会发生System.OutOfMemoryException 可能原因1：内存真的不够了，连虚拟内存都用完了。2：...
C# 服务端 Sqllite数据库结构 引发类型为“System.OutOfMemoryException 的异常 处理总结
ba_wang_mao的专栏
09-23 5402
异常情况： 1. 引发类型为“System.OutOfMemoryException”的异常。 2. 存储空间不足，无法处理此命令。 (异常来自 HRESULT:0x80070008) 3.Out of memory 服务端启动后，开始监听客户端的请求信息，但是服务端运行一段时间（目前约在1周左右），服务端Socket监听失效，记录下错误日志，含以上3个异常类型。服务端Soket监听客户端服务已经失效了，重启后正常运行。 异常排查步骤： ...
引发类型为System.OutOfMemoryException的异常
andycode的专栏
10-12 1万+
今天在拷贝数据库中数据时，报了 标题: Microsoft SQL Server Management Studio ------------------------------ 引发类型为“System.OutOfMemoryException”的异常。 (mscor
C# 读取大文本出现System.OutOfMemoryException,两种解决方案
PLA12147111的博客
12-15 8481
问题:读取一个444M的文本文件,出现内存溢出 方案1:利用FileStream将数据读取到byte数组中,然后按区间遍历该byte数组; 优缺点:速度快,占系统内存 可能出现的问题:一个汉字是两个字节,按区间读取转换成字符串,就有可能把一个汉字拆成两半,导致乱码; 解决思路:获取区间数组中最后一个换行符(\n的byte字节),以此为分界点,该换行符以后的数据,留给下一个区间来组装; 代码: /// <summary> /// 通过给定的文件流，判断文件的编码类型 /// &.
​引发类型为“System.OutOfMemoryException”的异常-.Net 内存溢出​
weixin_42565127的博客
08-05 7806
.Net 内存溢出（System.OutOfMemoryException）的常见情况和处理方式总结 在什么情况下会出现OutOfMemonryException呢? 在我们试图新建一个对象时,而垃圾收集器又找不到任何可用内存时被抛出,这种情况下我们是可以捕获该异常的; 另一种情况是,CLR需要内存时,而却系统却不能提供,也会抛出该异常. 但此时,我们的应用程序是不能捕获该错误的....
C#编写大计算量程序总是报内存溢出System.OutOfMemoryException的重要原因
成长中の稻草人
04-26 4654
内存溢出问题
.NET(C#) 使用 ADO.NET 上万条海量数据大批量插入优化的方法
weixin_52026996的博客
11-13 924
.NET（C#）中使用 ADO.NET 大批量插入海量数据时，将大批量数据全部加载到内存中可能导致内存消耗过高，甚至导致内存溢出。
C# 如何处理百万级数据量
最新发布
菜狗小测试
11-01 1445
并行处理可以显著提高数据处理的速度，但需要注意的是，并行编程也带来了一些复杂性，如线程同步、资源分配等问题，需要谨慎处理。例如，在 Visual Studio 中，可以对运行的程序进行性能分析，找出哪些部分的代码花费了大量的时间或占用了过多的内存。但需要注意的是，哈希表的性能在某些情况下可能会受到哈希冲突的影响，并且它在内存中的存储方式可能相对更松散，会占用一些额外的空间。比如，在查找数据时，如果数据是有序的，可以使用二分查找算法来提高查找效率，其时间复杂度为 ，相比于线性查找的 效率更高。
C#高性能的批量数据处理方案
farway000的博客
07-19 1843
我们经常会遇到这样的数据处理应用场景：我们利用一个组件实时收集外部交付给它的数据，并由它转发给一个外部处理程序进行处理。考虑到性能，它会将数据存储在本地缓冲区，等累积到指定的数量后打包发送；考虑到实时性，数据不能在缓冲区存太长的时间，必须设置一个延时时间，一旦超过这个时间，缓冲的数据必须立即发出去。看似简单的需求，如果需要综合考虑性能、线程安全、内存分配，要实现起来还真有点麻烦。这个问题有不同的解...
引发类型为“System.OutOfMemoryException”的异常-.Net 内存溢出
热门推荐
胡杰的专栏
12-10 6万+
引发类型为“System.OutOfMemoryException”的异常-.Net 内存溢出
System.OutOfMemoryException
那一份抹不去的光辉
12-02 1221
处理报表时出错。引发类型为“System.OutOfMemoryException”的异常。   在数据查询时一次性放入datatable 大概220000条，但绑定到数据时就出现以上错误！！ this.ReportViewer1.LocalReport.ReportPath = Server.MapPath("../statistics/Template/") + ReportNa
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值