MemoryError: Unable to allocate 6.73 GiB for an array with shape (3000, 3, 448, 448) and data type

已于 2022-05-12 16:04:19 修改
阅读量8.7k 收藏 27
点赞数 4
文章标签： tensorflow
于 2021-06-18 22:23:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40214464/article/details/118034670
版权

问题原因：内存过载，

现象描述：当时是使用TensorFlow2.0-gpu训练数据，当模型训练时批次过大，就会报以上错误。显卡是RTX 2060 6g 我当时就在想，我的显卡不至于这样弱吧。最后查阅了哈资料，发现是数据处理，占用的的CPU的RAM，如果你分配过少，就会报上面的错误哈。

如果大家的显卡比较好的话，出现了这种问题，那么大家可以重启一下，或者把一些暂用GPU的软件关了   因为发现GPU是先占用就先用，而导致后面需要使用GPU的软件 会因为分配不到足够的GPU内存而报错，但是如果你先跑程序 在打开其他软件  就不会报错  如果这个方法不行，大家再去操作下面的步骤。

解决方法：增加占用RAM的内存

1、点击设置，搜索控制面板，点击系统和安全

2、点击系统 ，在点击高级系统设置

3、点击高级->点击设置

4、 点击高级->点击更改

5、我这里输入的是6g,你可以输入自己的大小

7、点击确定即可

行码阁119
关注
ORA-04031: unable to allocate 13840 bytes of shared memory (“shared pool“,“unknown object“,“sga heap
killvoon的专栏
02-25 1153
还是年前的时候，绩效系统一直告警，查看了下，库上一直报ora-4031，很常见的错误，当时下意识的认为是内存不足了。 应该绩效手上在exadata一体机上，该一体机上还装了其他几套系统，内存资源比较紧张。 当时flush了下shared_pool，但没啥效果，因为是rac环境，便依次重启了实例，故障就消失了。 没过多久，绩效数据库又出现了这样的情况，共享池不足，就感觉不对劲了，但当时是年底了，马上就过年了，没啥心思探究。 结果过年期间，同属于exadata上crm系统也出现这样的情况，基本确定确实有
python内存分配失败_Python MemoryError：无法分配数组内存
weixin_39801465的博客
12-10 707
I've got a 250 MB CSV file I need to read with ~7000 rows and ~9000 columns. Each row represents an image, and each column is a pixel (greyscale value 0-255)I started with a simple np.loadtxt("data/tr...
Linux | MemoryError: Unable to allocate 2.10 GiB for an array内存溢出问题解决
qq_44608327的博客
05-02 5409
在机器学习训练中，因载入的矩阵过于庞大，在本机训练是总会报 MemoryError的错，又因本人需要将10G多的内容同时载入一同训练，无法使用其他博客（推荐下面链接处所给博客）所用到的方法，只能从硬件的层面进行扩展。 https://blog.csdn.net/qq_41780295/article/details/89677453 第一步：查看内存大小 [root@xiaoni-training 代码]#free -m 第二步：创建要作为swap分区的文件:增加20GB大小的交换分区，则命令写法如下，
Cannot Allocate Memory 错误解决方案
最新发布
weixin_50848244的博客
09-14 1346
这章就是个处理思路，主要是记录一下这个问题
numpy.core._exceptions.MemoryError: Unable to allocate 288. GiB for an array with shape
Dxy1239310216的博客
04-25 978
在深度学习中，通常使用数据生成器（data generators）来按需加载数据，而不是一次性加载所有数据到内存中。：如果你有访问更大内存机器（比如具有更多 RAM 的服务器或具有足够显存的 GPU）的权限，你可以在那里运行你的代码。来创建一个内存映射文件，这样数据就可以像普通数组一样被访问，但实际上只有访问到的部分会被加载到内存中。错误表明你的计算机没有足够的内存来分配一个特定大小的数组。：如果可能的话，尝试减少模型的复杂度或减小训练时的批量大小，这样每次迭代时需要的内存就会减少。
解决numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array
与君共勉，一起学习
06-06 6万+
报错 numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因 最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象 但实际上它保存的不是模型文件，而是参数文件文件。在模型文件中，存储完整的模型，而在状态文件中，仅存储参数。因此，collections.OrderedDict只是模型的值
报错：MemoryError: Unable to allocate array with shape (131072,) and data type int64
qq_41904729的博客
03-21 8920
引起此类问题的原因是电脑虚拟内存占用太大，因此只需要修改电脑的虚拟内存，此类问题即可迎刃而解。 根据自己的电脑，修改相应的配置即可，最后点击设置然后一直点击确定即可。 重启电脑后再次运行程序，问题解决。 ...
问题：Unable to allocate 6.12 GiB for an array with shape (312, 50, 13, 90, 90) and data type float32
chifandiyi的博客
01-16 952
运行python脚本报错Unable to allocate 6.12 GiB for an array with shape (312, 50, 13, 90, 90) and data type float32。解决方法:1.此电脑——属性——高级系统设置 2.高级系统设置——设置 3.高级——更改虚拟内存。
MemoryError: Unable to allocate xxx KiB for an array with shape (50000,624) and data type float64
m0_47196870的博客
08-05 351
之前代码一直都没有问题，字面意思是内存不足，于是直接修改运行内存。快速双击shift，然后输入vm，找到。打开后发现已经分配了12.8G运行内存（共16G），改成16G后再运行依然报错。pycharm版本：2021.1.3 Community。默认勾选第二个，太久没清缓存了，这里全选。解决过一个问题（具体问题忘了。弄了半天，突然想起之前通过。
Unable to allocate xxx GiB for an array with shape (xxxx, xxxx)
热门推荐
CoolCoolCarrot的博客
04-13 12万+
今天用Pycharm跑代码的时候报了个错误：Unable to allocate 14.1GiB for an array with shape (xxxx, xxxx)，主要是进行矩阵运算时涉及的矩阵太大了，导致分配的内存不够用，网上搜索了一些方法，最后成功解决。 由于是用实验室服务器跑的代码，首先是确定服务器上的内存确实够用，使用命令free查看内存分配情况： 可以看出，未使用...
python内存分配失败,Python MemoryError：无法分配数组内存
weixin_39987211的博客
12-10 507
I've got a 250 MB CSV file I need to read with ~7000 rows and ~9000 columns. Each row represents an image, and each column is a pixel (greyscale value 0-255)I started with a simple np.loadtxt("data/tr...
006.prcharm操作超过系统分配内存
小卜妞的博客
06-03 930
在生成数据集的命令时，出现了以下问题：Unable to allocate 3.05 GiB for an array with shape (40000, 22, 2623,111) and data type float64。原因时数据集过大，pycharm分配到的作业内存溢出。那么window10下该怎么解决呢？ 通过查博客得知，一般的系统内存肯定是足够的，只不过默认分配的不足，就导致了memory异常，因此，我们按照需要读取的数据大小更改系统设置就好。 依次操作： 我的电脑，右击“属性”，打开“高级
排坑
m0_37783250的博客
07-07 4311
**MemoryError: Unable to allocate 4.23 GiB for an array with shape (*, *, , ) and data type float16 下面展示一些 内联代码片。 index = [i for i in range(n_total)] np.random.shuffle(index) X_total = X_total[index] Y_total = Y_total[index] //我的数据太大了，n_tot
SLUB: Unable to allocate memory on node -1
chuxiong5717的博客
06-24 1882
kernel: redirfs: loading out-of-tree module taints kernel. kernel: redirfs: module verification failed: signature and/or required key missing - tai...
用numpy处理大数据遇到的问题
banshi9613的博客
08-17 6863
在使用numpy读取一个四百多万行数据的.csv文件时抛出了如下异常： numpy.core._exceptions.MemoryError: Unable to allocate array with shape (4566386, 23) and data type <U20 以下是我的源代码： import numpy as np import matplotli...
【MemoryError】Unable to allocate xx MiB for an array with shape (10000, 32) and data type float64
weixin_43821215的博客
08-03 8170
2】在打开的面板中依次打开“高级系统设置”—“高级”选项卡—“设置”—“高级”选项卡—“更改”，就进入了虚拟内存的设置界面。【3】将“自动管理所有驱动器的分页文件大小”选项前的方框里的勾取消，选择一个盘符（尽量是非系统盘），选择自定义大小。这里我一开始分配的3072，有点小，还不够，又分的4096就可以了。这个就是非配得内存空间不够了，修改windows虚拟内存。【4】修改完成后重启就可以了。......
成功解决Windows MemoryError: Unable to allocate 6.38 GiB for an array with shape (38
com_fang_bean的博客
06-19 5万+
因为运行文件所在的磁盘分配内存不够问题造成的，解决方法如下：打开我的电脑-右键属性-高级-性能设置-选择高级-更改-点击E盘-点击自定义大小-设置分配内存，我选择6G,6144kb.点击确定完成，再次运行文件，问题解决！ ...
MemoryError: Unable to allocate array with shape (61721, 16000) and data typ
信徒博客
12-02 7万+
疑惑 解惑 数据量太大了，也就是cpu内存小导致的； 可以从以下几个方面去改进： 0、换一个性能好的电脑，主要是硬件的问题 1、numpy 在定义数组的时候，采用更低的精度。从float64降低为float32 array_ = np.zeros((10000,10000),dtype='float32') # 默认float64 2、修改pycharm的运行内存 He...
ORA-04031: unable to allocate 4096 bytes of shared memory （解决方案）
QC班长的博客
11-15 2万+
查阅了一些Oracle的资料，发现ORA-04031错误一般可能由于两个原因引起的： 1.内存中存在大量碎片，导致在分配内存的时候，没有连续的内存可存放，此问题一般是需要在开发的角度上入手，比如增加绑定变量，减少应解析来改善和避免； 2.内存容量不足，需要扩大内存。 1、首先看shared_pool的两个参数设置 SQL> show parameter shared_pool;
MemoryError: Unable to allocate 20.2 GiB for an array with shape (13814, 196608) and data type int64
03-04
MemoryError是一种Python中的异常，表示内存不足以配所需的空间。在你提供的情况下，你尝试创建一个形状为(13814, 196608)、数据类型为int64的数组，需要占用20.2 GiB的内存空间，但是系统没有足够的内存来满足这个请求。 这种情况通常发生在以下几种情况下： 1. 数据量过大：如果你的数据集非常庞大，超过了系统可用内存的限制，就会导致内存不足的错误。 2. 内存泄漏：如果你的代码中存在内存泄漏问题，即没有正确释放已经使用的内存，那么随着时间的推移，内存占用会越来越高，最终导致内存不足。 3. 运行多个大型程序：如果同时运行多个占用大量内存的程序，可能会导致系统内存不足。 解决这个问题的方法有以下几种： 1. 减少数据量：如果可能的话，可以尝试减少数据集的大小，或者只加载部分数据进行处理。 2. 优化代码：检查代码中是否存在内存泄漏问题，并确保正确释放已使用的内存。 3. 使用更大的内存：如果你的计算机支持扩展内存，可以考虑增加内存容量。 4. 使用分布式计算：如果数据量过大，可以考虑使用分布式计算框架，将计算任务分发到多台机器上进行处理。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值