pytorch加载模型torch.load报cuda out of memory

最新推荐文章于 2022-09-11 11:42:51 发布
最新推荐文章于 2022-09-11 11:42:51 发布
阅读量629 收藏
点赞数
分类专栏： 笔记 文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l316652494/article/details/124968013
版权
连营
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch 神经网络（ out of memory )
科研学习笔记！
01-13 1983
一、从头开始训练的时候正常，大概占了4/5的显存容量，然后中断了， 再resume 就会出现out of memory ？ 因为你 load checkpoint 的时候把参数加载到 显存 里面了；而且大概率你的code是这么写的然后报的错： model = Network().cuda() # 这里如果你存下来的权重device在cuda上，那么将自动载入GPU; 此时 model在GPU...
浅谈pytorch torch.backends.cudnn设置作用
12-20
cuDNN使用非确定性算法，并且可以使用torch.backends.cudnn.enabled = False来进行禁用 如果设置为torch.backends.cudnn.enabled =True，说明设置为使用使用非确定性算法 然后再设置： torch.backends.cudnn....
pytorch加载模型torch.load报cuda out of memory解决方案
Flying_sfeng的博客
11-04 6494
当服务器中有多张显卡时可能会出现这个问题。 模型参数加载： model_recover = torch.load(args.model_recover_path) 报错如下： RuntimeError: CUDA error: out of memory 原因： 当使用torch.load加载模型参数时，会默认加载在第一块GPU0上，当GPU0没有在使用时，问题不大，但是显存被占满时这时候就加载不了了。 解决方法： model_recover = torch.load(args.model_recove
Machine Learning-CUDA out of memory (torch.load())解决
c_h_q_的博客
05-02 989
Machine Learning-CUDA out of memory (torch.load())解决
完美解決pytorch载入预训练权重时出现的CUDA error: out of memory
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
09-11 3393
今天小虎远程操纵工作站，想把昨晚练好的预训练模型迁移一下，发现跟往常不一样，nvidia的Cuda报错说出现超出内存的情况。
torch.load runtimeerror cuda error out of memory
sdaujz的博客
08-14 296
pretrained_model_dict = torch.load(model_path, map_location='cpu') 只需加上如下所示就可以了 map_location = 'cpu'
PyTorch里面的torch.nn.Parameter()详解
09-18
今天小编就为大家分享一篇PyTorch里面的torch.nn.Parameter()详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch cuda out of memory
热门推荐
u014714362的博客
03-19 1万+
pytorch程序出现cuda out of memory，主要包括两种情况： 1. 在开始运行时即出现，解决方法有 ： a）调小batchsize b）增大GPU现存（可加并行处理） 2. 在运行过程中出现，特别是运行了很长时间后爆显存了。 a) 首先检查是否是“个别实例过长”引起的，如果程序运行时已经占用GPU的大半，非常容易出现这种情况。解决方法...
【转】Pytorch：cuda out of memory
One1994的博客
01-15 4374
https://oldpan.me/archives/how-to-calculate-gpu-memory https://zhuanlan.zhihu.com/p/31558973 https://blog.csdn.net/qq_28660035/article/details/80688427[全面]
pytorch加载预选连模型 或者中断恢复训练 gpu outof memory
m0_37192554的博客
12-18 739
model = model.to(device) if args.resume: print("恢复训练") print("============================================>") checkpoint = torch.load(args.resume,map_location=torch.device('cpu')) #不加cpu会占用 gpu 内存， gpu 快满了，会导致 outof memry start_epoch =
深度学习-pytorch-CUDA out of memory.错误解决方案
当取初时
08-12 3249
最近训练模型的时候真是气死我了，花式 out of memory，明明模型不是很大，明明一个batch只读入一条音频（PS我是做语音的）。这里记录一下每一次的解决方案。 第一次溢出是因为在验证过程中，没有加不做梯度更新的设置。只要在验证之前加一个 torch.no_grad()就好了，毕竟验证不需要梯度更新。具体用法自己百度，你已经是个成熟的程序猿了，需要自己学会百度了。 第二次还是在验证的过程中，tensor计算的时候溢出了，调试的时候发现是因为tensor计算的时候维度不匹配，并没有报计算错误，而是报
测试网络时，导入模型时，报错“out of memory”
weixin_45075999的博客
04-08 377
device = torch.device(“cuda:0” if torch.cuda.is_available() else “cpu”) 在跑程序时使用：CUDA_VISIBLE_DEVICES = 3 python test.py 结果报错：“out of memory" 原因：服务器多卡时，可能因为torch.devices(“cuda:0” if torch.cuda.is_available() else “cpu”)默认是0号卡，而0号卡却已经满存 解决方法：改成torch.devices
Pytorch：测试保存训练模型时，显存充足，却提示cuda out of memory的问题
qq_45656271的博客
05-26 2855
在训练网络结束后，测试训练模型，明明显存还很充足，却提示我cuda out of memory 出现这种问题，有可能是指定GPU时出错（注意指定空闲的GPU），在排除这种情况以后，通过网上查找，说有可能是测试时的环境与训练时的环境不一样所导致，例如在网络训练时所使用的pytorch版本和测试时所使用的版本不同。由于我训练和测试用的同一虚拟环境，故排除这种情况。 还有一种说法，是因为pytorch的版本和cuda的版本不匹配所导致，经检查，也不是这方面的问题。 最后发现，在加载模型的时候，原代码为
load_state_dict时候报了cuda out of memory
zjs975584714的博客
12-10 746
我加载的模型明明可以装进去但是显存溢出，更神奇的是比如我第一个python文件已经load好在跑了，第二个文件load同一个pth文件就不行了，更有甚者我第一个这时候再运行也不行了。 我不明白原因，但是有个规律可以参考：就是如果我第一个文件已经load进来这个pth正在跑，别的文件好像就不能再去load这个pth了（在跑完第一个前），即使我复制一份也不太行。。神奇，我就直接找了另一个pth拿过来试了试发现就可以了 ...
torch.load取模型的cpu设置，仅一行代码（当cuda不能使用时，或cuda out of memory时，可以用cpu跑这个gpu训练的模型）
weixin_41529093的博客
10-15 1614
仅作为记录，大佬请跳过。 用map_location='cpu' model = torch.load('model25_152_finetune_invade_bestmodel_v2_v2_Untitled3.pkl',map_location='cpu')
pytorch加载模型时报错：RuntimeError: Cuda error: out of memory
y4ung
12-31 2774
在加载训练好的模型进行测试时，遇到了RuntimeError: Cuda error: out of memory。 觉得很诧异，明明模型也不是很大，怎么就爆显存了。 后面去pytorch 论坛上找到了答案，原来是加载模型的时候需要先通过torch.load()的map_location参数加载到cpu上，然后才放到gpu上。 def load_model(model, model_save_path, use_state_dict=True): print(f"[i] load model fro
autoDL CUDA error: out of memory
最新发布
08-17
您遇到的问题是autoDL在加载模型时出现了CUDA内存不足的错误。这种错误通常是由于GPU内存不足而导致的。根据引用内容，有几种可能的解决方法可以尝试。 首先，根据的引用，如果您怀疑是因为之前的进程没有完全结束导致的错误，您可以尝试使用指令来彻底终止进程。但是需要注意的是，这种操作可能会中断所有正在运行的GPU程序，因此需要谨慎使用。 另一种解决方法是根据的引用，将权重加载到CPU，并让模型在CPU上进行加载。这将避免与GPU相关的内存错误。使用这种方法，您可以尝试将模型的权重加载到CPU上，然后再进行加载操作。 您可以尝试使用以下代码来解决这个问题： ```python import torch # 将模型加载到CPU device = torch.device('cpu') model = YourModel().to(device) # 加载权重 weights = torch.load('your_weights.pth', map_location=device) model.load_state_dict(weights) # 进行模型加载操作 output = model(input) ``` 请将"YourModel"替换为您实际使用的模型类的名称，并将"your_weights.pth"替换为实际的权重文件路径。通过将模型加载到CPU上，并在加载操作时使用CPU设备，您可以避免与GPU内存相关的错误。 希望这些信息对您有所帮助！<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [完美解決pytorch载入预训练权重时出现的CUDA error: out of memory](https://blog.csdn.net/Davidietop/article/details/126803809)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值