RuntimeError: cudnn RNN backward can only be called in training mode解决办法

最新推荐文章于 2024-03-25 11:47:33 发布
最新推荐文章于 2024-03-25 11:47:33 发布
阅读量703 收藏
点赞数 2
文章标签： rnn 深度学习 自然语言处理 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45929355/article/details/130596272
版权

RuntimeError: cudnn RNN backward can only be called in training mode

原因分析与解决办法

其中一个原因是：

当训练RNN或者是LSTM时，train和eval过程混淆在一起，没有明确指明模式（即eval过后，没有切换成train模型就进行下一轮训练），便会出现以上报错

解决办法：

torch.backends.cudnn.enabled = False

设置之后即可正常运行，但大家可能会好奇为什么是这样，以及像这样设置之后会不会造成模型性能下降等问题！

torch.backends.cudnn解析

torch.backends.cudnn.enabled=True代表使用非确定性算法进行加速。

再令torch.backends.cudnn.benchmark=True代表该非确定算法自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题，在一定程度上是牺牲了精度还换取效率，并且无法保证模型的可复现性。

可以使用torch.backends.cudnn.enabled = False来进行禁用

并且从找到的资料上来看应该不会降低模型性能

D_klein
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
RuntimeError: cudnn RNN backward can only be called in training mode
weixin_39417324的博客
03-24 4782
第一个原因：这个清空梯度的地方不对，因为我上边加载了两个预训练的模型，所以我忘了把zero_grad这个函数放在要更新梯度的模型上边，而是放在预训练好的eval的模型上边，这个会报错，下边这个是对的 第二个原因： 第二个就是网上常说的，那个model没有切换train模式，这个多半是常见的原因，但是我的代码里面，明明是每次加载数据，都会切一次train，可还是不行 第三个原因：cudnn和rnn模型冲突 在epoch前边，加上下面这句话，这句话的意思就是不用cudnn加速训练， torch.backend
rnn蒸馏（1）：RuntimeError: cudnn RNN backward can only be called in training mode
猫猫与橙子的博客
03-11 1099
注：对于含有rnn的模型怎样设置参数不回传 在模型蒸馏的常规训练中，大模型的参数都是设置不更新回传，使用 self.model_T.eval() 就可以达到固定大模型参数的效果；但是当模型网络结构中包含有rnn，例： class BidirectionalLSTM(nn.Module): def __init__(self, nIn, nHidden, nOut): super(BidirectionalLSTM, self).__init__() s
Python RuntimeError: thread.__init__() not called解决方法
09-22
然而，在使用`threading.Thread`进行多线程编程时，可能会遇到`RuntimeError: thread.__init__() not called`这样的错误。这个错误通常意味着你没有正确地初始化`threading.Thread`的实例。 在标题和描述中提到的...
RuntimeError: Cannot run the event loop while another loop is running(目前没有解决)
12-21
在Python的Tornado框架中，`RuntimeError: Cannot run the event loop while another loop is running` 是一个常见的错误，它表明你的代码试图在一个已经运行中的事件循环（Event Loop）内启动另一个事件循环。...
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
01-21
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+（建议用pychon3.6版本，我...
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
pytorch禁用cudnn（一行代码）
12-08
pytorch禁用cudnn（只有一行代码） torch.backends.cudnn.enabled = False
pytorch填坑：RuntimeError: cudnn RNN backward can only be called in training mode
热门推荐
dongwanli666的博客
11-14 1万+
运行pytorch时，训练很正常，但是如果切换到eval()模式之后再继续训练， 发现报错： RuntimeError: cudnn RNN backward can only be called in training mode 原因分析：由于在训练时，设置的是net.train() 切换到预测模式时, 设置为net.eval(), 再回到训练环节，此时的网络依然是eval()模式，因此...
【PyTorch】成功解决RuntimeError: cudnn RNN backward can only be called in training mode
最新发布
创作高质量博文，分享知识，共同进步！
03-25 913
🚀【PyTorch】RNN训练模式报错终极解决方案🔍 PyTorch训练RNN时遭遇“cudnn RNN backward can only be called in training mode”错误？别慌！本文带你深入了解错误背景，提供清晰解决方案，并分享常见问题与注意事项。更有调试技巧与工具，助你轻松应对。举一反三，其他RNN相关错误也能一网打尽。掌握这些，PyTorch RNN训练不再是难题！快来一探究竟，轻松驾驭PyTorch RNN训练吧！#PyTorch #RNN #训练模式报错 #解决方
深度学习：RuntimeError: cudnn RNN backward can only be called in training mode报错的解决方法
qq_54900679的博客
02-12 622
深度学习：RuntimeError: cudnn RNN backward can only be called in training mode报错的解决方法
torch.backends.cudnn.enabled = False会引起CUDA out of memory和CUDA error: an illegal memory access was
wzg2016的博客
10-20 7452
一般来说，题目所示这种问题都是由batch_size的设置引起的，修改batch_size之后就能有效解决。但是，我今天遇到一种情况，这个问题不是由batch_size引起的，而是由torch.backends.cudnn.enabled = False这个设置引起的。 torch.backends.cudnn.enabled = False这个设置主要用于实验过程的可复现，具体的实验过程可复现代码设置如下： import numpy as np import torc...
PyTorch——解决报错“RuntimeError: running_mean should contain *** elements not ***”
m0_46387303的博客
12-02 5236
“RuntimeError: running_mean should contain *** elements not ***”
Pytorch Bug解决：RuntimeError: running_mean should contain 1 elements not 10
Just_do_myself的博客
04-19 7807
Pytorch Bug解决：RuntimeError: running_mean should contain 1 elements not 10编程环境bug描述bug分析总结 编程环境 Python 3.9 Pytorch 1.11.0 bug描述 Traceback (most recent call last): File "D:\crl\Projects\start\test.py", line 21, in <module> pred = model(x) File
torch.backends.cudnn.benchmark 和torch.backends.cudnn.deterministic
weixin_45079057的博客
05-19 3757
torch.backends.cudnn.benchmark标志位True or False cuDNN是GPU加速库 在使用GPU的时候，PyTorch会默认使用cuDNN加速，但是，在使用 cuDNN 的时候，torch.backends.cudnn.benchmark模式是为False。 设置这个 flag 为True，我们就可以在 PyTorch 中对模型里的卷积层进行预先的优化，也就是在每一个卷积层中测试 cuDNN 提供的所有卷积实现算法，然后选择最快的那个。这样在模型启动的时候，只要额外多花一
202 RuntimeError: cudnn RNN backward can only be called in training mode
06-10
解决方法是在训练模式（train mode）下进行模型训练，或者使用 PyTorch 自带的 RNN 模块代替 cudnn RNN 模块。如果你一定要在评估模式下使用 cudnn RNN 模块，可以尝试在模型中添加 `model.train()` 来将模型转换为...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值