pytorch填坑：RuntimeError: cudnn RNN backward can only be called in training mode

最新推荐文章于 2024-10-04 16:37:24 发布
原创 最新推荐文章于 2024-10-04 16:37:24 发布 · 1.3w 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在使用PyTorch进行深度学习模型训练时，从train()模式切换到eval()模式后再返回train()模式可能会遇到RuntimeError。本文详细解释了这一错误的原因，并提供了解决方案，只需在继续训练前重新调用net.train()即可。
部署运行你感兴趣的模型镜像

运行pytorch时，训练很正常，但是如果切换到eval()模式之后再继续训练， 发现报错：

RuntimeError: cudnn RNN backward can only be called in training mode

原因分析：由于在训练时，设置的是net.train()   切换到预测模式时, 设置为net.eval(), 再回到训练环节，此时的网络依然是eval()模式，因此出现上述bug, 只要在继续训练模型之前加上net.train()即可完美解决问题

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

RuntimeError: cudnn RNN backward can only be called in training mode
weixin_39417324的博客
03-24 5150
第一个原因：这个清空梯度的地方不对，因为我上边加载了两个预训练的模型，所以我忘了把zero_grad这个函数放在要更新梯度的模型上边，而是放在预训练好的eval的模型上边，这个会报错，下边这个是对的 第二个原因： 第二个就是网上常说的，那个model没有切换train模式，这个多半是常见的原因，但是我的代码里面，明明是每次加载数据，都会切一次train，可还是不行 第三个原因：cudnn和rnn模型冲突 在epoch前边，加上下面这句话，这句话的意思就是不用cudnn加速训练， torch.backend
rnn蒸馏（1）：RuntimeError: cudnn RNN backward can only be called in training mode
猫猫与橙子的博客
03-11 1232
注：对于含有rnn的模型怎样设置参数不回传 在模型蒸馏的常规训练中，大模型的参数都是设置不更新回传，使用 self.model_T.eval() 就可以达到固定大模型参数的效果；但是当模型网络结构中包含有rnn，例： class BidirectionalLSTM(nn.Module): def __init__(self, nIn, nHidden, nOut): super(BidirectionalLSTM, self).__init__() s
深度学习：RuntimeError: cudnn RNN backward can only be called in training mode报错的解决方法
qq_54900679的博客
02-12 1297
深度学习：RuntimeError: cudnn RNN backward can only be called in training mode报错的解决方法
202 RuntimeError: cudnn RNN backward can only be called in training mode
06-10
这个错误通常是由于在 PyTorch 中使用了 cudnn RNN 模块并且模型处于评估模式（eval mode）时发生的。在评估模式下，cudnn RNN 模块无法进行反向传播。解决方法是在训练模式（train mode）下进行模型训练，或者使用 ...
Traceback (most recent call last): File "C:\Users\T-T Zyf\PycharmProjects\pythonProject2\main.py", line 260, in <module> train(i) File "C:\Users\T-T Zyf\PycharmProjects\pythonProject2\main.py", line 207, in train loss.backward() File "E:\software\7.2.25.228\anaconda\Lib\site-packages\torch\_tensor.py", line 648, in backward torch.autograd.backward( File "E:\software\7.2.25.228\anaconda\Lib\site-packages\torch\autograd\__init__.py", line 353, in backward _engine_run_backward( File "E:\software\7.2.25.228\anaconda\Lib\site-packages\torch\autograd\graph.py", line 824, in _engine_run_backward return Variable._execution_engine.run_backward( # Calls into the C++ engine to run the backward pass ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ RuntimeError: cudnn RNN backward can only be called in training mode
最新发布
05-22
在 PyTorch 中，`RuntimeError: cudnn RNN backward can only be called in training mode` 的错误表明，在非训练模式下尝试调用了基于 cuDNN 实现的 RNN 层的反向传播操作。这是因为 cuDNN 加速的 RNN 只能在模型...
RuntimeError: cudnn RNN backward can only be called in training mode解决办法
weixin_45929355的博客
05-10 1141
当训练RNN或者是LSTM时，train和eval过程混淆在一起，没有明确指明模式（即eval过后，没有切换成train模型就进行下一轮训练），便会出现以上报错。代表该非确定算法自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题，在一定程度上是牺牲了精度还换取效率，并且无法保证模型的可复现性。设置之后即可正常运行，但大家可能会好奇为什么是这样，以及像这样设置之后会不会造成模型性能下降等问题！代表使用非确定性算法进行加速。
【PyTorch】成功解决RuntimeError: cudnn RNN backward can only be called in training mode
创作高质量博文，分享知识，共同进步！
03-25 2156
🚀【PyTorch】RNN训练模式报错终极解决方案🔍 PyTorch训练RNN时遭遇“cudnn RNN backward can only be called in training mode”错误？别慌！本文带你深入了解错误背景，提供清晰解决方案，并分享常见问题与注意事项。更有调试技巧与工具，助你轻松应对。举一反三，其他RNN相关错误也能一网打尽。掌握这些，PyTorch RNN训练不再是难题！快来一探究竟，轻松驾驭PyTorch RNN训练吧！#PyTorch #RNN #训练模式报错 #解决方
RuntimeError:the derivative for ‘weight’ is not implemented
sinat_24424445的博客
09-19 3804
RuntimeError:the derivative for ‘weight’ is not implemented 解决方案：use weight.detach() instead of weight
Pytorch学习之LSTM识别MNIST数据集（改进）
星之所望的博客
02-17 909
按照这篇文章的代码 https://www.jianshu.com/p/8e447be76478 十分感谢的作者的分享，但文章中的代码是有问题的。需要修改两点 1、代码对齐问题 # 开始训练 for epoch in range(num_epoches): running_loss = 0.0 running_acc = 0.0 for i, data in en...
【RuntimeError】the derivative for 'target' is not implemented
热门推荐
ccbrid的博客
05-27 1万+
报错信息： Traceback (most recent call last): File "/users/anaconda3/lib/python3.6/site-packages/torch/nn/modules/module.py", line 489, in __call__ result = self.forward(*input, **kwargs) File "/...
RuntimeError: derivative for floor_divide is not implemented
yyyllla的博客
09-23 3335
问题描述：pytorch训练网络的过程中，发现在loss.backward()时出现RuntimeError: derivative for floor_divide is not implemented的错误，最终发现在搭建网络过程中，除以一个常数的时候使用了“//”，是一个整数除法，使得网络训练过程中出现了整数，所以出现了上述错误。 解决方法：网络搭建过程中，使用“/”浮点数除法代替“//”整数除法时，错误解决。 ...
pytorch bug: Unable to find a valid cuDNN algorithm to run convolution解决！
qq_40929682的博客
06-30 1094
pytorch bug: Unable to find a valid cuDNN algorithm to run convolution存在的一种问题
如何使用pytorch构建一个文本分类项目？
u014244487的专栏
12-05 1306
完整代码在我的github：NLP文本分类(包含多种模型) 一、搭建顺序 可以大致分为下面几个步骤： 数据预处理—>训练框架—>模型搭建—>模型调优 二、数据预处理基本步骤 (1)定义域 此时若是要用中文 则在tokennize中加入分词函数 def tokenizer(text): return list(jieba.cut(text)) text...
深度学习(二)
小泽爱刷题的博客
08-31 2344
CUDA是一种并行计算的编程模型，提供了开发者利用GPU的工具和接口，适用于各种需要并行处理的应用程序。CuDNN是一个专门的加速库，建立在CUDA的基础上，针对深度学习中的神经网络操作进行了专门的优化，从而大幅提升计算效率。两者的结合，使得深度学习和其他计算密集型任务在GPU上能够以更快的速度、更高的效率完成Dataset：继承Dataset可以让你自定义如何获取和处理数据。这在处理复杂的数据集时非常有用，例如当数据需要从多个文件加载、进行特殊的预处理或处理非标准格式的数据时。DataLoader。
cuDNN v2库下载与深度学习加速实践
weixin_35749796的博客
10-04 1307
本文还有配套的精品资源，点击获取 简介：cuDNN v2是一个高性能的深度学习库，专为NVIDIA GPU设计，提供多种神经网络层的实现和优化。它适用于64位Linux系统，通过优化卷积运算、增加对RNNs和CNNs的支持以及改进内存管理，显著提高了深度学习应用的效率。本库还扩展了API，以支持更多的深度学习操作，如批量归一化和Leaky ReLU，并与CUDA 6.5兼容...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值