Unable to allocate 309. GiB for an array with shape (203769, 203769)

已于 2022-04-23 21:13:37 修改
阅读量2.4k 收藏 2
点赞数
分类专栏： Python技巧 文章标签： python
于 2022-03-14 13:09:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36321330/article/details/123476017
版权

问题描述

在Ubuntu20.04运行GCN时，使用pandas加载数据，出现如上错误

解决方法

  1. 首先使用如下命令查看是否是0
cat /proc/sys/vm/overcommit_memory
  1. 如果是0的话，使用如下命令，将其改为1（如果是1的话，我也不知道咋办）
sudo -i
echo 1 > /proc/sys/vm/overcommit_memory
  1. 再次运行，错误消失
这就是算法
关注
专栏目录
AWS报错：MemoryError: Unable to allocate 81.1 GiB for an array with shape (3000, 942, 3851)
FriendshipTang的博客
06-18 2590
AWS报错：MemoryError: Unable to allocate 81.1 GiB for an array with shape [3000, 942, 3851]报错如下解决方法 报错如下 Traceback (most recent call last): File "abstract.py", line 278, in <module> train() File "abstract.py", line 253, in train validation_s
Unable to allocate 1.86 GiB for an array with shape (25000, 10000) and data type float64
butebeizhanghao的博客
02-17 5704
Unable to allocate 1.86 GiB for an array with shape (25000, 10000) and data type float64 Ubuntu16.04系统TensorFlow 应该是创建的矩阵占用内存过载，导致系统阻断创建，若是用户可以以管理员身份登录终端，且可以接受创建矩阵所造成的内存过载的影响，可以在管理员身份的终端下输入如下命令： echo 1 > /proc/sys/vm/overcommit_memory ...
MemoryError: Unable to allocate 14.5 GiB for an array with shape (500, 243712, 8) and data type comp
Alan的博客
05-23 8119
MemoryError: Unable to allocate 14.5 GiB for an array with shape (500, 243712, 8) and data type complex128 系统报错,不能分配这么大的内存 解决办法： 更改电脑虚拟内存 右键计算机->属性->高级系统设置->高级 选项卡->性能 中点设置->高级->虚拟内存 点更改->选择非系统盘->自定义大小->设置初始大小和最大值(建议为物理内存的1.5倍)-&
【问题解决】Unable to allocate 4.30 GiB for an array with shape (10000, 22, 2623) and data type float64
KaelCui的博客
05-21 9781
问题如图，解决措施请点击
深度学习解决Unable to allocate 33.6 GiB for an array with shape (60000, 224, 224, 3) and data type float32
wang_jiezeng的专栏
03-23 6639
深度学习时，如何最大限度发挥本机潜力，解决卡机问题?
Unable to allocate 191. GiB for an array with shape (160001, 160001) and data type float64
最新发布
09-21
GiB for an array with shape (160001, 160001) and data type float64`这样的错误时，意味着你的程序试图创建一个非常大的浮点数数组，其大小超过了可用内存。在这种情况下，由于内存限制，surprise库无法分配足够...
Unable to allocate 147. GiB for an array with shape (198756, 99377) and data type int64
06-09
这个错误提示意味着你的计算机内存不足以分配一个198756行，99377列的int64类型数组所需的147GB内存。这是因为你的数据集非常大，无法在常规的计算机内存中处理。 为了解决这个问题，你可以尝试以下几个方法： ...
MemoryError: Unable to allocate 114. GiB for an array with shape (45568, 670688) and data type float32
05-31
这个错误通常表示您尝试在内存中分配太多的空间。您可以尝试以下方法解决这个问题： 1. 减少您的数据集大小：您可以尝试减少您的数据集规模，以避免内存不足的问题。 2. 释放内存：在运行代码时，您可以尝试释放...
MemoryError: Unable to allocate 147. GiB for an array with shape (198756, 99377) and data type int64
06-09
这个错误提示表示你的计算机内存不足以分配一个198756行，99377列的int64类型数组所需的147GB内存。这是因为你的数据集太大，无法在常规的计算机内存中处理。 为了解决这个问题，可以尝试以下几个方法： ...
MemoryError: Unable to allocate 229. GiB for an array with shape (533502, 3, 19170) and data type int64怎么解决
05-17
这个错误通常是由于内存不足引起的。要解决这个问题，你可以尝试以下几种方法： 1. 减少数组的大小。如果你的数组太大而无法容纳在内存中，可以尝试减小数组的大小。 2. 使用更高效的数据类型。...
成功解决Windows MemoryError: Unable to allocate 6.38 GiB for an array with shape (38
com_fang_bean的博客
06-19 5万+
因为运行文件所在的磁盘分配内存不够问题造成的，解决方法如下：打开我的电脑-右键属性-高级-性能设置-选择高级-更改-点击E盘-点击自定义大小-设置分配内存，我选择6G,6144kb.点击确定完成，再次运行文件，问题解决！ ...
DeepInf bug: MemoryError: Unable to allocate 7.26 GiB for an array with shape (779164, 50, 50) and d
weixin_40945354的博客
07-17 2448
Traceback (most recent call last): File "train.py", line 101, in <module> args.file_dir, args.dim, args.seed, args.shuffle, args.model) File "/root/DeepInf/data_loader.py", line 48, in __init__ self.graphs = np.load(os.path.join(file_dir,
MemoryError: Unable to allocate 26.4 GiB for an array with shape (3540000000,) and data type float64
weixin_41888257的博客
07-31 1万+
1. 读取 txt 文件 如果这样读取， file = open('../data/entries_en.txt', 'r') data = file.readlines() 会报内存不足 需要改成： with open('../file.txt', 'r') as f: for line in f: # do stuff 这是逐行读取文件，而不是一次全部读取到 RAM 2. 读取 tdms 文件 查看 30 GB 的tdms 数据文件 file_keys = TdmsFile(
MemoryError: Unable to allocate 32.6 GiB for an array with shape (114149, 306215) and data type uint
Caiqiudan的博客
05-04 3882
当我想使用python的pd.get_dummies生成虚拟变量时，报错说内存不够。 发现忘记给连续变量进行分箱了，导致需要的内存极大。一定需要先对连续变量进行分箱啊。
Linux | MemoryError: Unable to allocate 2.10 GiB for an array内存溢出问题解决
qq_44608327的博客
05-02 5412
在机器学习训练中，因载入的矩阵过于庞大，在本机训练是总会报 MemoryError的错，又因本人需要将10G多的内容同时载入一同训练，无法使用其他博客（推荐下面链接处所给博客）所用到的方法，只能从硬件的层面进行扩展。 https://blog.csdn.net/qq_41780295/article/details/89677453 第一步：查看内存大小 [root@xiaoni-training 代码]#free -m 第二步：创建要作为swap分区的文件:增加20GB大小的交换分区，则命令写法如下，
【python】运行报错：Windows MemoryError: Unable to allocate 6.38 GiB for an array with shape
qq_45110581的博客
10-08 1万+
1.参考链接 成功解决Windows MemoryError: Unable to allocate 6.38 GiB for an array with shape (38
Unable to allocate xxx GiB for an array with shape (xxxx, xxxx)
热门推荐
CoolCoolCarrot的博客
04-13 12万+
今天用Pycharm跑代码的时候报了个错误：Unable to allocate 14.1GiB for an array with shape (xxxx, xxxx)，主要是进行矩阵运算时涉及的矩阵太大了，导致分配的内存不够用，网上搜索了一些方法，最后成功解决。 由于是用实验室服务器跑的代码，首先是确定服务器上的内存确实够用，使用命令free查看内存分配情况： 可以看出，未使用...
Python | NumPy | numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array
MissMango0820的博客
02-03 6461
本文简要概括出现类似于报错信息的原因及解决方法
3.内存溢出错误
zhaozhiwei314的博客
02-08 2983
一、问题贴图和描述 numpy.core._exceptions.MemoryError: Unable to allocate 128. KiB for an array with shape (16384,) and data type float64 二、问题产生原因和解决方法 原因一：一般是由于要跑的数据集太大，而自己电脑没有那么大的内存去支持它去把这个模型跑起来。 原因二：batch_size调到太大 解决方法：对数据集进行采样，只采用其中的一部分数据，同时调小batch_size,增加训练的轮
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值