numpy.core._exceptions.MemoryError: Unable to allocate 865. MiB for an array with shape (10600, 1069

最新推荐文章于 2024-04-25 14:20:28 发布
最新推荐文章于 2024-04-25 14:20:28 发布
阅读量9.3k 收藏 8
点赞数 1
分类专栏： 疑难杂症 python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42894251/article/details/120573989
版权

内存溢出问题numpy.core._exceptions.MemoryError: Unable to allocate 865. MiB for an array with shape (10600, 10697) and data type float64

在这里插入图片描述
问题分析：
报错里面说， 问题在futures_base.py，因此怀疑问题在多线程中，因为多线程会导致结果堆叠，因此导致numpy报错。
问题解决：
在多线程函数中，限制最大线程不超过2
在这里插入图片描述
问题解决啦！
如果还是报同样的错误，只能设置单线程，max_worker = 1

its_Mayday
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
排坑
m0_37783250的博客
07-07 4172
**MemoryError: Unable to allocate 4.23 GiB for an array with shape (*, *, , ) and data type float16 下面展示一些 内联代码片。 index = [i for i in range(n_total)] np.random.shuffle(index) X_total = X_total[index] Y_total = Y_total[index] //我的数据太大了，n_tot
编译 pycaffe时报错：fatal error: numpy/arrayobject.h没有那个文件或目录
01-19
编译 pycaffe时报错：fatal error: numpy/arrayobject.h没有那个文件或目录 其实numpy已经是安装的，anaconda2里面有，python中import numpy也没有问题，但就是在此处报错，解决方法：  sudo apt-get install ...
numpy.core._exceptions.MemoryError: Unable to allocate 27.0 GiB for an array with shape (38064, 3806
weixin_46713695的博客
11-07 1996
numpy.core._exceptions.MemoryError: Unable to allocate 27.0 GiB for an array with shape (38064, 3806
深度学习训练报错numpy.core._exceptions._ArrayMemoryError: Unable to allocate 多少多少 MiB
BUG_always_AC的博客
10-23 5912
4.取消勾选“自动管理所有驱动器的分页文件大小”，选择一个盘（如G盘），设置初始大小与最大值（如20G）1.windows键搜索高级系统设置。2.选择“高级”，“设置”3.选择“高级”，“更改”原因：显存、内存不足。解决：分配虚拟内存。
numpy.core._exceptions.MemoryError: Unable to allocate 288. GiB for an array with shape
最新发布
Dxy1239310216的博客
04-25 443
在深度学习中，通常使用数据生成器（data generators）来按需加载数据，而不是一次性加载所有数据到内存中。：如果你有访问更大内存机器（比如具有更多 RAM 的服务器或具有足够显存的 GPU）的权限，你可以在那里运行你的代码。来创建一个内存映射文件，这样数据就可以像普通数组一样被访问，但实际上只有访问到的部分会被加载到内存中。错误表明你的计算机没有足够的内存来分配一个特定大小的数组。：如果可能的话，尝试减少模型的复杂度或减小训练时的批量大小，这样每次迭代时需要的内存就会减少。
Python | NumPy | numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array
MissMango0820的博客
02-03 6163
本文简要概括出现类似于报错信息的原因及解决方法
【Debug记录】numpy.core._exceptions.MemoryError: Unable to allocate 623. MiB for an array with shape xxx
m0_51141265的博客
03-16 2126
numpy.core._exceptions.MemoryError: Unable to allocate 623. MiB for an array with shape xxx。报错原因：用numpy处理大数组，消耗太太，内存不足。修改PyCharm的运行内存。修改-Xmx1773m 为 -Xmx4096m 分配4G内存（按需设定），保存后重启pycharm即可。
surprise numpy.core._exceptions._ArrayMemoryError: Unable to allocate 864. GiB for an array with
小白tree的博客
02-02 9168
在使用surprise对google数据集进行基于用户的推荐算法（KNNBaseline）训练时，内存超限报错如下 numpy.core._exceptions._ArrayMemoryError: Unable to allocate 864. GiB for an array with shape (340553, 340553) and data type float64 原因也很简单： 数据集中一共有书籍340553本，如果计算共现矩阵，则会在numpy创建340553 X 340553大小的矩阵
MemoryError: Unable to allocate array with shape (61721, 16000) and data typ
热门推荐
信徒博客
12-02 7万+
疑惑 解惑 数据量太大了，也就是cpu内存小导致的； 可以从以下几个方面去改进： 0、换一个性能好的电脑，主要是硬件的问题 1、numpy 在定义数组的时候，采用更低的精度。从float64降低为float32 array_ = np.zeros((10000,10000),dtype='float32') # 默认float64 2、修改pycharm的运行内存 He...
安装TensorFlow的过程以及遇到No module named ‘numpy.core._mutiiarray_umath’及解决办法
12-21
安装TensorFlow的过程以及遇到No module named ‘numpy.core._mutiiarray_umath’及解决办法 本人因学习内容安装TensorFlow（CPU版本，此处没有使用anaconda） 安装过程: 先安装Python3.6.6 之后在命令行中输入...
TypeError: unsupported format string passed to NoneType.__format__
12-22
Traceback (most recent call last): File "C:/Users/Lenovo/PycharmProjects/untitled3/text6.py", line 49, in printGoodsList(infoList) 序号 价格 商品名称 File "C:/Users/Lenovo/PycharmProjects/...
numpy的基本用法，适用于大气科学以及一些大数据处理的基本方法的总结
06-18
通过各方面资料的查阅，结合自己平时自己的应用经验，把网络上以及一些参考书上关于numpy的应用方法综合性地总结了一下。把一些零散的知识碎片整合化，同时舍弃了一些我觉得其他库能够做的更好的函数。为结合大气...
NumPy 中文文档.zip_numpy_numpy 中文手册_numpy中文手册_python_python文档
07-14
NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高效的多（该结构也可以用来表示矩阵（matrix））
解决numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array
与君共勉，一起学习
06-06 6万+
报错 numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因 最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象 但实际上它保存的不是模型文件，而是参数文件文件。在模型文件中，存储完整的模型，而在状态文件中，仅存储参数。因此，collections.OrderedDict只是模型的值
机器学习中遇到的报错
kuyecsl的博客
04-18 4814
是在用svm时产生的错误，大概意思是维度没有对齐，强烈建议大家去输出一下参数（矩阵）的形状，这样就比较明显 data.shape ->(1,0) #这种就是很明显数据没有读出来，是个空值 之所以我这里出现类似这个问题的原因就是readlines()使用不当： readline()是每次读一行，下次调用的时候就是读取的下一行 readlines()相当于一次读取所有行，读取之后原变量就空了，因为没有下一行了。 所以同一个变量用两次readlines肯定最后一次读出的是空值，这也是为什么我最后输出sha
numpy.core._exceptions._ArrayMemoryError: Unable to allocate 23.1 MiB for an array with shape (2, 15
liuhongyue的博客
05-29 1837
记得不要选中 自动管理所有驱动器的分页文件大小，然后选择一个驱动器，也就是一个盘，选中自定义大小，手动输入初始大小和最大值，但是不要太大。在运行代码的过程中发现，内存其实只用到了一半不到，但是为什么会出现 Memory 的错误呢？都设置好之后，记得点击 设置， 然后再确定，否则无效，最后 重启电脑 就可以了。进过百度发现说是内存被限制了，所以考虑采用扩大虚拟内存的方法。选择 高级面板，点击更改 虚拟内存 模块；修改 pycharm 的运行内存 6，点击 高级系统设置 这一项；点击 系统 这一项；
numpy.core._exceptions.MemoryError: Unable to allocate 512. KiB for an array with shape (65536,)
weixin_46713695的博客
03-30 1553
numpy.core._exceptions.MemoryError
numpy.core._exceptions.MemoryError: Unable to allocate xxx GB
Damien_J_Scott的博客
10-29 9172
最近在训练15W条数据过程中，报出这个错，但是我本地内存只使用了60%，解决之后记录下。 查了下，应该是python位数的问题，一开始我本地是32位的。 如果你的Python用的是32位的，那么你的pandas和Numpy也只能是32位的，那么当你的内存使用超过2G时，就会自动终止内存。、 后来换成64位的就没有报错了 ...
numpy.core._exceptions.MemoryError
xiaqi4145
09-26 3113
问题背景： np.load() 加载大文件，提示内存不够 可能的解决办法（我是这么解决的）： 执行的py文件在哪个盘，就给哪个盘分 设置完记得点击 设置，然后重启计算机，问题解决。
numpy.core._exceptions.MemoryError: Unable to allocate 627. MiB for an array with shape (9066, 9066) and data type float64
12-05
这个错误提示表明你的程序试图分配一个大小为 627MB 的数组，但是由于内存不足而失败了。这可能是因为你的系统内存不足，或者是因为你的程序已经使用了大量的内存，导致无法再分配更多的内存。以下是一些可能的解决方法： 1. 检查你的系统内存是否足够，如果不够，可以考虑升级内存或者使用更大的机器。 2. 检查你的程序是否有内存泄漏，如果有，需要修复内存泄漏问题。 3. 尝试使用更小的数组或者使用稀疏矩阵来代替密集矩阵。 4. 尝试使用内存映射文件来处理大型数据集，这样可以将数据存储在磁盘上，而不是在内存中。 5. 尝试使用分布式计算框架来处理大型数据集，例如 Apache Spark 或者 Dask。 6. 如果你的程序运行在虚拟机中，可以考虑增加虚拟内存的大小。 ```python # 代码示例 import numpy as np # 尝试使用稀疏矩阵代替密集矩阵 from scipy.sparse import random X = random(9066, 9066, density=0.01, format='csr') print(X.shape) # 尝试使用内存映射文件来处理大型数据集 X = np.memmap('data.dat', dtype='float64', mode='w+', shape=(9066, 9066)) print(X.shape) # 尝试使用分布式计算框架来处理大型数据集 import dask.array as da X = da.random.random((9066, 9066), chunks=(1000, 1000)) print(X.shape) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值