数据太大爆内存怎么办？七条解决思路

最新推荐文章于 2023-05-28 16:20:12 发布
最新推荐文章于 2023-05-28 16:20:12 发布
阅读量3.1k 收藏 9
点赞数 1
文章标签： 大数据 python c/c++
原文链接：https://yq.aliyun.com/articles/180092
版权
当面临数据集过大导致内存不足的问题时，本文提供七种解决思路：1) 调整工具或库的内存分配；2) 使用小样本；3) 升级计算设备或使用云服务；4) 转换数据格式；5) 实现流式处理或渐进式加载；6) 使用关系数据库；7) 利用大数据平台如Hadoop或Spark。
摘要由CSDN通过智能技术生成

数据太大爆内存怎么办？七条解决思路

在研究、应用机器学习算法的经历中，相信大伙儿经常遇到数据集太大、内存不够用的情况。

这引出一系列问题：

  • 怎么加载十几、几十 GB 的数据文件?
  • 运行数据集的时候算法崩溃了，怎么办?
  • 怎么处理内存不足导致的错误?

本文将讨论一些常用的解决办法，供大家参考。

处理大型

最低0.47元/天 解锁文章
weixin_34395205
关注
Flink大数据量调优思路总结（二）
击水三千里的专栏
04-10 635
数据量越大越需要对flink进行精细化调优
java大数据量调优（超赞值得收藏）
javalingyu的博客
05-03 4047
从总体上来看，对于大型网站，比如门户网站，在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节： 1.首先需要解决网络带宽和Web请求的高并发，需要合理的加大服务器和带宽的投入，并且需要充分的利用系统中软件、硬件的缓存机制，将能缓存的内容都进行缓存存储，减少计算层和存储层的压力。 2.其次需要对业务服务器和业务支撑服务器进行合理的分层，并且采用并行计算和分布式算法对大量计算进行处理，并且在开发的过程中需要采用Java SDK中并发包(Concurrency)进行编码实现。 3.存储层需要
Tensorflow2数据集过大，GPU内存不够
darlingqx的博客
10-09 2721
在我们平时使用tensorflow训练模型时，有时候可能因为数据集太大(比如VOC数据集等等)导致GPU内存不够导致终止，可以自制一个数据生成器来解决此问题。方法就是将数据集图片的路径保存到一个列表之中，然后使用while循环在训练时进行不断读取，，我在训练时出现了这样的问题，这是我的猜测。
数据量太大，内存不够怎么办？
weixin_34302561的博客
06-26 3011
最近遇到这个问题，上网查+问同学，基本解决方法：keras，Pipeline,TFrecord，批次读取训练 先看第一个，keras，可能需要改网络什么的，不太想改（先挖个坑，以后学一下keras，小白一只，勿怪） 第二个，pipeline，听起来高大上也很专业，上网搜罗了一堆资料： https://www.cnblogs.com/zyly/p/8982335.html https://blog....
内存不够的情况下python处理大规模数据
weixin_44110392的博客
07-30 2089
如何处理大规模数据，在机器内存不够的情况下
内存不足时的大文件排序算法（spark shuffle的排序算法）
ooeeerrtt的博客
01-17 3597
1、问题场景 例如：当前磁盘2T，内存16G，文件大小500G。现在需要对500G的大文件进行排序，并存道另一个文件中。 抽象：当前有包含10000行数的文件，再只能使用长度为1000的数组的前提下，对文件中的数据进行排序，并存道另一个文件中。 2、问题分析 首先，数据的总量大于了所能使用的内存数据结构的容量，所以肯定不能完全通过内存排序。因此需要采用一种分治的思想来实现全局排序。 （1）数组总量10000，数组容量1000，所以...
【人工智能】SVM、NN等统计学算法爆内存的解决方案
沙师弟专栏
02-28 9451
Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。就是内存条的空间不够了，为了能让应用程序认为它拥有连续可用的内存（一个连续完整的地址空间），我们匀出一部分硬盘空间来充当内存使用的。通常情况下，我们会把总样本2-8分成测试集和训练集，通常也是在执行训练和测试的时候耗时的。
pytorch模型提示超出内存cuda runtime error(2): out of memory
curtain的博客
02-03 1243
网上查阅了一些资料，包括什么改虚拟内存，都没什么用，最后我修改了batch_size，把它改小,模型终于能跑了
IBM研究出大数据机器学习解决方案 为现存有限内存训练方法的10倍
chongwoguo7631的博客
12-11 112
研究团队为训练数据集标记重要性，只训练重要的资料，那多数不必要的数据就不再需要送进GPU，大大节省数据传输时间。 IBM研究院与瑞士洛桑联邦理工学院共同于2017 NIPS Conference发表大数据机器学习解决方案，此方法可以利用GPU在一分钟内处理完30GB的训练数据集，是现存有限...
MySQL该如何将月增上亿条数据的单表处理方案优雅落地？
Java技术攻略的博客
03-14 1475
看到这里，对于库内分表篇的内容也接近了尾声，有小伙伴也许会疑惑：那如果我每月的数据量更大怎么办呢？比如前面的例子中，如果再投入了多批机器怎么办？每月的数据量达到甚至上亿怎么办？如若你存在这块的顾虑，其实大可不必担心，因为咱们既然可以按月分表，那能否按半月为周期分表呢？能否按星期分表呢？能否以三天、一天为一个维度分表呢？答案显然是可以的，所以数据量无论有多大，都可能按不同的周期来划分表。
案例实战：每日百亿数据量的实时分析引擎，如何定位和解决频繁Full GC问题？
石杉的架构笔记
02-18 1929
本文详细介绍：每日百亿数据量的实时分析引擎是如何定位和解决频繁Full GC问题的。学习后小伙伴通过亲自动手写代码，观察优化前频繁full gc的问题，然后优化jvm参数，再观察优化后的效果，将基本从实操层面就完全明白jvm的优化方法。
从数据库中查出400万条数据,放到list中内存溢出这样的问题怎么处理。
reg183的专栏
06-24 2541
今天要完成一个业务：数据库中有450万条数据，有一个字段是空的。要访问一个api，获取到值后填上。 常规思路，是把所有的数据查询出来，循环数据，挨个请求接口，请求完接口，获得到返回值，修改数据库中这条记录。 理想很丰满，现实却很骨感，一执行直接报错。 Allowed memory size of 134217728 bytes exhausted 一看就知道是内存溢出，看看数据库，一条数据也没有改变。 这时候我们应该换一个思路，什么思路呢，我一条一条的执行应该没事吧。 说干就干，获取数据库中数据的总条数，
33、Nio（selector（处理消息边界问题（容量超出）））
分享java学习路上的一些笔记，不足之处多多见谅。
11-12 173
Nio（selector（处理消息边界问题（容量超出）））第一步：我们将前面的处理黏包问题的复制过来处理这个buffer（之前我们处理buffer是我呢就将其读到的数据直接复制到buffer里） 客户端的案例：（这里的read是一个阻塞方法，这样我们就不用在前面打断点，然后debug运行了） 第二步：案例变为超出buffer大小 测试：（逻辑是我们服务器端第一次没读完的时候（不是最后的不算完整），会读第二次，这是它就将第二次当做完整信息打印了） 优化思路：（扩容，当发现buffer不够的时候就变为两倍咯）
C++学习——如何增加堆栈大小来避免内存分配的问题
m0_37876745的博客
04-03 2228
C++学习
C/C++项目编译时内存不足解决方案
hsy12342611的专栏
10-11 2363
C/C++项目编译时内存不足，通过增加交换分区解决，交换分区一般会设置成内存的2倍，具体如下： 1.使用交换分区 #count的大小就是增加的swap空间的大小，64M是块大小，所以空间大小是bs*count=16GB sudo dd if=/dev/zero of=/swapfile bs=64M count=256 #把刚才空间格式化成swap格式 sudo mkswap /swapfile #使用刚才创建的swap空间 sudo swapon /swapfile 2.取消交换分区 sudo sw
tensorflow利用for循环进行训练遇到的内存爆炸问题(OOM)
noblaker的博客
03-24 6843
最近在用tensorflow学习模型的知识蒸馏，自己基于cifar10数据集训练得到的teacher模型，在对3种不同参数量的student模型使用相同的alpha和temperature参数进行蒸馏之后，得到的实验结果均与论文结果相反（论文：Distilling the Knowledge in a Neural Network） 所以自己打算用循环方式遍历多种alpha，temperature的参数组合来对比蒸馏效果（不想自己手动调参了.jpg，在notebook里一遍遍调完参重新跑然后保存数据真难顶.
在Python中载入大量图片型数据集，与matlab结合使用时，如何解决RAM的占用爆炸性增长的问题
最新发布
AI_data_cloud的博客
05-28 1279
在上面的代码中，我们使用glob模块来获取“data”文件夹中所有的JPEG图像，然后使用Image.open()函数将图像读取为PIL图像对象。在上面的代码中，我们使用glob模块来获取“data”文件夹中所有的PNG图像，然后使用Image.open()函数将图像读取为PIL图像对象。值得注意的是，在数据类型转换的过程中，可能需要进行归一化或重新调整图像的大小和分辨率，以适应算法的要求。例如，在图像分类中，如果算法需要输入224x224的图像尺寸，则需要在转换图像格式的同时，将其调整为指定的尺寸。
python读取数据库数据内存过大怎么办_完美解决因数据库一次查询数据量过大导致的内存溢出问题...
weixin_39956443的博客
12-19 2228
完美解决因数据库一次查询数据量过大导致的内存溢出问题刚开始接触项目的实习生，积累经验，欢迎交流之前做项目，遇到过一次查询数据量过大而导致的内存溢出问题，找了很多办法一直未能实际解决问题，今天又遇到了，经过前辈的指导，终于解决了问题！！不过此方法只在DBug启动下有效以上这篇完美解决因数据库一次查询数据量过大导致的内存溢出问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值