MemoryError: Unable to allocate array with shape (61721, 16000) and data typ

最新推荐文章于 2024-08-27 20:22:10 发布
最新推荐文章于 2024-08-27 20:22:10 发布
阅读量7.2w 收藏 85
点赞数 33
分类专栏： 人工智能之深度学习 python编程专栏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37591637/article/details/103349269
版权

疑惑

解惑

数据量太大了，也就是cpu内存小导致的；

可以从以下几个方面去改进：

0、换一个性能好的电脑，主要是硬件的问题

1、numpy 在定义数组的时候，采用更低的精度。从float64降低为float32

array_ = np.zeros((10000,10000),dtype='float32') # 默认float64

2、修改pycharm的运行内存

    Help->Find Action->(type "VM Options")->(Click)"Edit Custom VM Options"   打开pycharm64.exe.vmoptions进行编辑
    修改-Xmx750m 为 -Xmx4096m     分配4G内存，视情况而定。保存并重启pycharm

 3、修改windows虚拟内存

https://zhuanlan.zhihu.com/p/37332255

 

qq_37591637
关注
专栏目录
Linux | MemoryError: Unable to allocate 2.10 GiB for an array内存溢出问题解决
qq_44608327的博客
05-02 5409
在机器学习训练中，因载入的矩阵过于庞大，在本机训练是总会报 MemoryError的错，又因本人需要将10G多的内容同时载入一同训练，无法使用其他博客（推荐下面链接处所给博客）所用到的方法，只能从硬件的层面进行扩展。 https://blog.csdn.net/qq_41780295/article/details/89677453 第一步：查看内存大小 [root@xiaoni-training 代码]#free -m 第二步：创建要作为swap分区的文件:增加20GB大小的交换分区，则命令写法如下，
MemoryError: Unable to allocate xxx KiB for an array with shape (50000,624) and data type float64
m0_47196870的博客
08-05 349
之前代码一直都没有问题，字面意思是内存不足，于是直接修改运行内存。快速双击shift，然后输入vm，找到。打开后发现已经分配了12.8G运行内存（共16G），改成16G后再运行依然报错。pycharm版本：2021.1.3 Community。默认勾选第二个，太久没清缓存了，这里全选。解决过一个问题（具体问题忘了。弄了半天，突然想起之前通过。
【Python】已解决：ValueError: All arrays must be of the same length
最新发布
屿小夏.的知识博客
08-27 485
在数据科学和机器学习中，处理数据的常见工具之一是pandas库。使用pandas时，我们经常会将多个数组或列表转换成DataFrame格式，以便进行数据分析和处理。这个错误通常发生在尝试创建DataFrame时，如果传入的数组或列表长度不一致，就会触发该错误。为了正确解决该报错问题，我们需要确保传入的所有数组或列表长度一致。通过上述代码，我们成功创建了一个DataFrame，因为所有列的长度一致，避免了。报错问题，确保数据处理和分析过程顺利进行。运行上述代码时，会出现。
MemoryError: Unable to allocate 6.73 GiB for an array with shape (3000, 3, 448, 448) and data type
qq_40214464的博客
06-18 8727
问题原因：内存过载， 现象描述：当时是使用TensorFlow2.0-gpu训练数据，当模型训练时批次过大，就会报以上错误。显卡是RTX 2060 6g 我当时就在想，我的di
报错：MemoryError: Unable to allocate array with shape (131072,) and data type int64
qq_41904729的博客
03-21 8912
引起此类问题的原因是电脑虚拟内存占用太大，因此只需要修改电脑的虚拟内存，此类问题即可迎刃而解。 根据自己的电脑，修改相应的配置即可，最后点击设置然后一直点击确定即可。 重启电脑后再次运行程序，问题解决。 ...
python内存分配失败_Python MemoryError：无法分配数组内存
weixin_39801465的博客
12-10 707
I've got a 250 MB CSV file I need to read with ~7000 rows and ~9000 columns. Each row represents an image, and each column is a pixel (greyscale value 0-255)I started with a simple np.loadtxt("data/tr...
安装TensorFlow的过程以及遇到No module named ‘numpy.core._mutiiarray_umath’及解决办法
12-21
安装TensorFlow的过程以及遇到No module named ‘numpy.core._mutiiarray_umath’及解决办法 本人因学习内容安装TensorFlow（CPU版本，此处没有使用anaconda） 安装过程: 先安装Python3.6.6 之后在命令行中输入Python，如返回版本号及相关信息，说明安装成功，安装Python过程可参考其他安装教程，较容易， 之后使用pip，从清华大学镜像网站上下载TensorFlow1.4 输入命令：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow=
win10 pycharm 出现MemoryError 和 Unable to allocate array with shape
蕾姆的博客
11-29 3万+
1、numpy 在定义数组的时候，采用更低的精度。 array_ = np.zeros((10000,10000),dtype='float32') # 默认float64 一般计算上通过numpy得到的16位浮点数，是FP16。 float64占用的内存是float32的两倍，是float16的4倍；比如对于CIFAR10数据集，如果采用float64来表示，需要60000*32*32*...
[报错] [Ubuntu] [Python] MemoryError: Unable to allocate array with shape (x, x) and data type float64
feifeiyechuan的博客
11-08 1万+
错误信息MemoryError: Unable to allocate array with shape (430949, 430949) and data type float64 系统环境 Ubuntu 18.04 LTS Python 3.6 原因分析 据传 [1] 是因为触发了系统的 overcommit handing 模式。 事情是这样的，我打算生成一个形状为[430949, 430...
python--MemoryError: Unable to allocate array with shape
天青如水的博客
12-17 2万+
系统环境 Ubuntu 16.04.6 LTS（子系统） Python 3.7.3 报错原因 np.zeros((5684, 15074, 84),dtype=‘float32’) MemoryError: Unable to allocate array with shape (5684, 15074, 84) and data type float32 触发了系统的过量处理模式（ove...
python内存分配失败,Python MemoryError：无法分配数组内存
weixin_39987211的博客
12-10 507
I've got a 250 MB CSV file I need to read with ~7000 rows and ~9000 columns. Each row represents an image, and each column is a pixel (greyscale value 0-255)I started with a simple np.loadtxt("data/tr...
SLUB: Unable to allocate memory on node -1
chuxiong5717的博客
06-24 1881
kernel: redirfs: loading out-of-tree module taints kernel. kernel: redirfs: module verification failed: signature and/or required key missing - tai...
用numpy处理大数据遇到的问题
banshi9613的博客
08-17 6863
在使用numpy读取一个四百多万行数据的.csv文件时抛出了如下异常： numpy.core._exceptions.MemoryError: Unable to allocate array with shape (4566386, 23) and data type <U20 以下是我的源代码： import numpy as np import matplotli...
win10 qt5.12连接mysql, 并解决QMYSQL: Unable to allocate a MYSQL
09-12 1326
1.windows下 安装 QT, QT版本如下 ​ 2.QT连接mysql, 不做任何处理 会报错 QSqlDatabase: QMYSQL driver not loaded QSqlDatabase: available drivers: QSQLITE QODBC QODBC3 QPSQL QPSQL7 3.上述错误需要重新编译 plugins\sqldrivers\mysql D:\Qt...
ORA-04031: unable to allocate 13840 bytes of shared memory (“shared pool“,“unknown object“,“sga heap
killvoon的专栏
02-25 1153
还是年前的时候，绩效系统一直告警，查看了下，库上一直报ora-4031，很常见的错误，当时下意识的认为是内存不足了。 应该绩效手上在exadata一体机上，该一体机上还装了其他几套系统，内存资源比较紧张。 当时flush了下shared_pool，但没啥效果，因为是rac环境，便依次重启了实例，故障就消失了。 没过多久，绩效数据库又出现了这样的情况，共享池不足，就感觉不对劲了，但当时是年底了，马上就过年了，没啥心思探究。 结果过年期间，同属于exadata上crm系统也出现这样的情况，基本确定确实有
MemoryError: Unable to allocate array with shape (430949, 430949) and data type float64
weixin_42618420的博客
12-07 4924
系统环境 Ubuntu 18.04 Python 3.6 错误信息 MemoryError: Unable to allocate array with shape (430949, 430949) and data type float64 原因分析 据传 [1] 是因为触发了系统的overcommit handing模式。 解决办法 1.首先检查系统的内存过载处理模式 ...
成功解决Unable to allocate xxx MiB for an array with shape (xxxx, xxxx)
热门推荐
get_py的博客
04-15 7万+
原因 数据量太大，导致cpu内存不足导致的 解决方法 换个性能更好的电脑 numpy 在定义数组的时候，采用更低的精度。从float64降低为float32array_ = np.zeros((10000,10000),dtype='float32') # 默认float64 修改pycharm的运行内存 Help->Find Action->(type “VM Options”)->(Click)“Edit Custom VM Options” 打开pycharm64.exe.
MemoryError: Unable to allocate array with shape (60000, 28, 28) and data type float 32等类似情况
weixin_42079988的博客
11-04 1872
https://www.pianshen.com/article/9561878889/ 1.引起此类问题的原因是电脑虚拟内存占用太大，因此只需要修改电脑的虚拟内存，此类问题即可迎刃而解。
MemoryError: Unable to allocate 25.2 GiB for an array with shape (58104, 58104) and data type float64
04-05
This error message occurs when the program tries to allocate more memory than the system can provide. In this case, the program is attempting to allocate 25.2 GiB of memory for an array with shape (58104, 58104) and data type float64, but the system does not have enough free memory to accommodate this request. To resolve this error, you can try the following solutions: 1. Increase the available memory: If possible, try to free up some memory by closing other programs or processes that are running on the system. You can also consider upgrading the RAM on your computer to increase the available memory. 2. Use a more memory-efficient data type: If the data in the array does not require the precision of float64, you can consider using a lower precision data type, such as float32 or even int32 or int16, depending on the range of the data. 3. Use a sparse matrix: If the array contains mostly zeros, you can consider using a sparse matrix representation, which only stores the non-zero values and their indices. This can significantly reduce the memory requirements of the array. 4. Use a distributed computing framework: If the array is too large to fit in the memory of a single machine, you can consider using a distributed computing framework, such as Apache Spark or Dask, to distribute the computation across multiple machines.
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qq_37591637

请给我持续更新的动力~~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值