checkpoint = torch.load(args.state_dict) -＞RuntimeError: CUDA error: out of memory

最新推荐文章于 2024-06-13 23:10:33 发布
最新推荐文章于 2024-06-13 23:10:33 发布
阅读量490 收藏
点赞数
分类专栏： 机器学习or深度学习 文章标签： 人工智能 pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43027065/article/details/115283935
版权

进行eval，加载模型到gpu时，出现错误：RuntimeError: CUDA error: out of memory

疑似原因：有一个相似的模型（网络结构名相同，通道数不同）在另一块gpu上训练着，导致加载错误

解决办法：先停止相似模型的训练

朽一
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyTorch强化：05.PyTorch 保存和加载模型
睡前人工智能共享实验室
07-22 969
当保存和加载模型时，需要熟悉三个核心功能： torch.save：将序列化对象保存到磁盘。此函数使用Python的pickle模块进行序列化。使用此函数可以保存如模型、tensor、字典等各种对象。 torch.load：使用pickle的unpickling功能将pickle对象文件反序列化到内存。此功能还可以有助于设备加载数据。 torch.nn.Module.load_state_dict：使用反序列化函数 state_dict 来加载模型的参数字典。 1.什么是状态字典：state_...
load_state_dict时候报了cuda out of memory
zjs975584714的博客
12-10 754
我加载的模型明明可以装进去但是显存溢出，更神奇的是比如我第一个python文件已经load好在跑了，第二个文件load同一个pth文件就不行了，更有甚者我第一个这时候再运行也不行了。 我不明白原因，但是有个规律可以参考：就是如果我第一个文件已经load进来这个pth正在跑，别的文件好像就不能再去load这个pth了（在跑完第一个前），即使我复制一份也不太行。。神奇，我就直接找了另一个pth拿过来试了试发现就可以了 ...
几种解决跑深度学习模型时CUDA OUT OF MEMORY:GPU内存报错问题的方法
最新发布
Co1rbin的博客
06-13 2646
①使用共享GPU内存；②及时清空显存；③使用检查点存储；④使用混合精度
Pytorch Error:RuntimeError:CUDA error: out of memory [in torch.load]
Anthony's Blog
06-24 1337
Error: 当加载模型时： model.load_state_dict(torch.load('xxx.pth')) Error:RuntimeError:CUDA error: out of memory 解决方法
pytorch 训练/测试模型时错误：RuntimeError: CUDA error: out of memory
Turbo_Come的博客
04-29 2351
方法1：batch-size设置多小 方法2： with torch.no_grad(): net = Net() out = net(imgs) 积累的梯度应该是会一直放在显存里的...用了这一行就会停止自动反向计算梯度 方法3： 设置cpu来加载模型： model_path = 'path/to/model.pt' model = UN...
【RuntimeError: CUDA error: out of memory】pytorch4.0+py3.6+[LinearStyleTransfer项目]
fmx的专栏
10-21 1219
记录项目LinearStyleTransfer所遇到的问题： 附上项目链接：LinearStyleTransfer 按照github所述，安装好环境（我的环境） pytorch0.4.1 python3.6 cuda8.0 opencv3.4 所需模型：models 一、环境准备妥当，运行测试文件TestArtistic.py时，报错： 查了一些原因，有说是pytorch版本...
pytorch 加载预训练模型
sinat_16423171的博客
12-06 6505
1、 预训练模型网络结构 = 你要加载模型的网络结构 那么直接 套用 path="你的 .pt文件路径" model = "你的网络" checkpoint = torch.load(path, map_location=device) model.load_state_dict(checkpoint) 2、 预训练模型网络结构 与你的网络结构不一致 当你直接套用上面公式，会出现类似unexpected key module.xxx.weight问题 这种情况下，需要具体分析一下网络信息，再决定如何加
2020-12-18
zjs975584714的博客
12-18 242
load_state_dict时候out of memory 本来已经跑过的py文件，忽然在这儿就卡住并且out of memory，具体原因不知道，玄学解法仅供参考： 把这个py文件复制一份，然后随便改点啥，加个空格回车啥的，然后保存发现好了 ...
torch的模型保存和加载 各种细节各种坑 尤其是多GPU训练会出现各种问题
zhe_csdn的博客
09-18 5414
#保存和加载整个模型 torch.save(model_object, ‘model.pth’) model = torch.load(‘model.pth’) #仅保存和加载模型参数(推荐使用) torch.save(model_object.state_dict(), ‘params.pth’) model_object.load_state_dict(torch.load(‘params.p...
pytorch加载保存查看checkpoint文件
joyce_peng的博客
02-01 3万+
目录 保存方式 加载方式 查看checkpoint文件内容 保存checkpoint文件
pytorch重新加载参数的代码，具体步骤
邹小驴
07-03 6880
#这个参数主要是用来设置是否从断点处继续训练 if args.resume: #if isfile(args.resume): “ isfile(args.resume):里面的（）放入自己的最好模型的具体位置 print("=> loading checkpoint '{}'".format(放入自己的具体路径） checkpoint = tor...
pytorch checkpoint 函数的坑
ONE_SIX_MIX的专栏
04-28 1万+
实验 pytorch 版本1.0.1 pytorch 的 checkpoint 是一个可以用时间换空间的技术，很多情况下可以轻松实现 batch_size 翻倍的效果 坑 checkpoint 的输入需要requires_grad为True，不然在反向传播时不会计算内部梯度 简单让输入的requires_grad为True并且节省显存的办法 import torch import torch.nn...
加载预训练模型——torch.load 与 load_state_dict
weixin_47032489的博客
03-14 4584
checkpoint = torch.load('./pretrained/Clean_resnet18-200-regular.pth') # torch.load加载预训练模型参数 model.load_state_dict(checkpoint['state_dict']) # load_state_dict是net的一个方法：把torch.load加载的参数加载到模型中 model.eval() # 把模型换成测试模式。因为测试模型的
pytorch模型的保存和加载、checkpoint
热门推荐
qq_38765642的博客
11-18 3万+
pytorch模型的保存和加载、checkpoint 其实之前笔者写代码的时候用到模型的保存和加载，需要用的时候就去度娘搜一下大致代码，现在有时间就来整理下整个pytorch模型的保存和加载，开始学习把~ pytorch的模型和参数是分开的，可以分别保存或加载模型和参数。所以pytorch的保存和加载对应存在两种方式： 1. 直接保存加载模型 （1）保存和加载整个模型 # 保存模型 torch.save(model, 'model.pth\pkl\pt') #一般形式torch.save(net, P
pytorch模型加载测试_pytorch加载和保存模型
weixin_39806288的博客
12-19 209
恢复the_model = torch.load(PATH)一个相对完整的例子savingtorch.save({'epoch': epoch + 1,'arch': args.arch,'state_dict': model.state_dict(),'best_prec1': best_prec1,}, 'checkpoint.tar' )loadingif args.resume:if os...
torch 变量_[错误汇总]torch.load加载模型报错；cuda数据类型报错
weixin_39927214的博客
11-20 695
torch.load加载模型报错 ：UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 1124: ordinal not in range(128)原因是：Pytorch在加载模型时候，如果训练保存模型的python环境是2.7，然而在python3的环境中去load模型，就会出现上面的错误。解决办法：asci...
Pytorch 神经网络（ out of memory )
科研学习笔记！
01-13 2002
一、从头开始训练的时候正常，大概占了4/5的显存容量，然后中断了， 再resume 就会出现out of memory ？ 因为你 load checkpoint 的时候把参数加载到 显存 里面了；而且大概率你的code是这么写的然后报的错： model = Network().cuda() # 这里如果你存下来的权重device在cuda上，那么将自动载入GPU; 此时 model在GPU...
pytorch 在验证时出现CUDA error: out of memory
Nick Blog
01-22 1万+
虽然使用net.eval()调到了验证阶段，但是还是要使用 with torch.no_grad(): outputs = Net_(inputs) 来取消验证阶段的loss。 个人猜测出现此原因是由于梯度在验证阶段不回传，造成梯度的累计。 我做实验发现，在验证阶段，batch0不会报错，batch1就报错。...
RuntimeError: CUDA out of memory解决方法
cute_boy_的博客
12-02 2万+
RuntimeError: CUDA out of memory解决方法 前言 今天在运行代码的时候出现了cuda的一个报错，报错如下，意思就是超出内存了 解决 首先查看一下GPU使用情况，命令如下：nvidia-smi 看输出的第二列（Memory_Usage）查看各个GPU使用情况 找到剩余内存较大的GPU，然后代码中输入如下代码 import os import torch os.environ['CUDA_VISIBLE_DEVICES'] = '2,6' # 代表可以使用第二个和第六个
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值