解决UserWarning: Error detected in CudnnBatchNormBackward0. No forward pass information available.

已于 2023-11-08 14:29:51 修改
阅读量8.8k 收藏
点赞数 2
文章标签： pytorch 深度学习 机器学习 人工智能
于 2023-10-20 16:42:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013963578/article/details/133949530
版权

分布式训练时出现如下报错
Error detected in CudnnBatchNormBackward0. No forward pass information available. Enable detect anomaly during forward pass for more information
在这里插入图片描述
在DistributedDataParallel加上broadcast_buffers=False 问题解决

torch.nn.parallel.DistributedDataParallel(net,device_ids=[args.local_rank],find_unused_parameters=True, broadcast_buffers=False)
前行居士
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch出现如下报错：RuntimeError: one of the variables needed for gradient computation has been modified b
weixin_58303981的博客
04-09 1884
出错原因很简单，就是我重复引用了一个卷积层，简单修改后，运行通过！
有关pytorch的backward的问题
ltt159264的博客
08-19 382
根据提示找到第43行代码，再找到43行代码的源码，查看其中是否有’+=‘、’-=‘、’*=‘ 这样的运算符，若有，改为 'x = x + y'、或 'x = x - y'、或'x = x * y'。
faster rcnn +cudnn V5
小狼的博客
08-16 7968
faster rcnn 代码默认是使用的cudnn v4, 但是为了体验最新的v5, 或者使用GTX1080 ,我们编译faster rcnn的时候就会报错： In file included from ./include/caffe/util/cudnn.hpp:5:0, from ./include/caffe/util/device_alternate
错误记录：RuntimeError: one of the variables needed for gradient computation has been modified by an inpl
adminHD的博客
11-17 806
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [2, 256, 20, 20]], which is output 0 of struct torch::autograd::CopySlices, is at version 3; expected version 1 instead.
1、non-finite loss, ending training tensor(nan, device=‘cuda:0‘,2、‘LogSoftmaxBackward3、Function ‘MulB
qq_42042528的博客
11-09 2584
错误2：Function ‘LogSoftmaxBackward’ returned nan values in its 0th output.错误3：Function ‘MulBackward0’ returned nan values in its 0th output出现这种情况，大家可以尝试换一个数据集，我折腾了两天，pytorch版本也换了，各种的都试了，一直怀疑是网络结构的问题，改来改去的，还是不行，我的损失函数是交叉熵，focalloss也试了，这两个损失函数都用到了log这玩意，出现0值时就
「Bug」问题分析 RuntimeError：which is output 0 of ReluBackward0
绿色羽毛
06-06 4652
对于使用Pytorch 的小伙伴，可能在复现模型时候出现了以下报错，这个错误是因为出现了 inplace operation 造成的，以下尝试了几种解决方案，方案4⃣️/5⃣️ 可行，希望对有同样问题的小伙伴有帮助！首先我们将错误定位到 [torch.FloatTensor [1, 128, 104, 160]] 位置，维度信息 有助于我们分析错误大概出现在哪一个分支上，然后再不断的缩小错误我也在往常查找了一些解决办法，例如：......
解决pytorch-yolov3 train 报错的问题
12-20
UserWarning: indexing with dtype torch.uint8 is now deprecated, please use a dtype torch.bool instead https://github.com/eriklindernoren/PyTorch-YOLOv3/blob/master/models.py#L191 将model.py  obj_...
浅析python打包工具distutils、setuptools
09-20
Python的打包工具是开发者将代码组织成可分发和安装的模块化格式的关键。本文将深入探讨Python中的两个主要打包工具：distutils和setuptools。 首先，distutils是Python标准库的一部分，它提供了基础的打包和安装...
解决在keras中使用model.save()函数保存模型失败的问题
09-16
本文将深入探讨这个问题的原因及解决方案。 首先，问题的核心在于h5py库，它是Keras用来保存和加载模型的主要依赖库，特别是当保存为HDF5格式（.h5扩展名）时。在这种情况下，如果h5py版本过低，例如2.7.0，可能会...
解决pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\\python3.6\\lib\\site-packa的问题
01-21
标题用pycharm导入numpy包的和使用时报错：RuntimeError: The current Numpy installation (‘D:\python3.6\lib\site-packages\numpy\init.py 1.file→settings→project interpreter→+（建议用pychon3.6版本，我...
PyTorch 源码解读之 torch.autograd：梯度计算详解
qq_39967751的博客
03-03 3656
前言 本篇笔记以介绍 pytorch 中的 autograd 模块功能为主，主要涉及 torch/autograd 下代码，不涉及底层的 C++ 实现。本文涉及的源码以 PyTorch 1.7 为准。 torch.autograd.function （函数的反向传播） torch.autograd.functional （计算图的反向传播） torch.autograd.gradcheck （数值梯度检查） torch.autograd.anomaly_mode （在自动求导时检测错误产生路径）
PyTorch：常见错误 inplace operation
强劲九
01-30 4989
inplace 操作是 PyTorch 里面一个比较常见的错误，这篇文章记录了一个一些排查这种错误的方法
enable anomaly detection to find the operation that failed to compute its gradient, with torch.autog
静静的学习就好
07-26 6895
关于pytorch中多个backward出现的问题：enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly (True)
解决caffe不支持cudnn8问题--error: ‘cudnnGetConvolutionForwardAlgorithm’ was not declared in this scope
cumtchw
04-17 5222
之前服务器中的环境是cuda10.0和cudnn7，后来更换了cuda11.0和cudnn8之后，编译caffe报错：src/caffe/layers/cudnn_conv_layer.cpp:160:57: error: ‘cudnnGetConvolutionBackwardDataAlgorithm’ was not declared in this scope。类似的错误还有error: ‘cudnnGetConvolutionForwardAlgorithm’ was not declared i
运行手写数字识别例程出现cuDNN Error: cudnnConvolutionForward failed
xi_xiyu的博客
10-31 431
这个是关于CUDA的报错，可能与你的mindspore版本，显卡驱动等有关，具体解决方案参考如下链接： https://bbs.huaweicloud.com/blogs/327980。
python虚拟环境配置若干错误及解决办法
qq_42897796的博客
12-06 5457
研一时跑程序遇到了各种神奇问题,有时候问了别人也是爱莫能助,很是绝望.所以把我的经验分享出来,让大家少走些弯路.
python中backward函数_Pythorch:运行时错误：函数MulBackward0在索引0处返回了一个无效的渐变，预期类型为torch.cuda.FloatTensor但是得到了火炬。浮雕...
weixin_39537049的博客
02-09 762
我不明白这个错误在告诉我什么。在a different post中，同样的问题也得到了解决，但没有有效的解决办法。在Traceback (most recent call last):File "train.py", line 252, in main()File "train.py", line 231, in maintrain(net, training_dataset, targets, ...
python/pytorch 个人coding中的报错/异常
热门推荐
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-10 1万+
快速解决python中的bug，这里总有你需要的。
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount().
最新发布
11-06
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount()通常是由于CUDA驱动程序或CUDA工具包的问题引起的。这可能是由于CUDA版本不兼容或CUDA驱动程序未正确安装等原因引起的。如果您使用的是GPU进行深度学习，那么这个错误可能会影响您的模型训练。您可以尝试重新安装CUDA驱动程序或CUDA工具包，或者检查您的CUDA版本是否与您的深度学习框架兼容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值