InplaceABN Backward Error

最新推荐文章于 2024-07-05 17:34:00 发布
原创 最新推荐文章于 2024-07-05 17:34:00 发布 · 748 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能

本文讲述了作者在修改包含InplaceABN模块的网络时遇到的运行时错误，详细解析了InplaceABN的工作原理，重点在于理解为何连续的inplace操作导致梯度计算失败。通过实际案例和GitHub issue线索，揭示了问题定位和解决方案，为类似问题的排查提供指导。

近日在对一个包含InplaceABN模块的网络进行魔改的时候，遇到了如下报错：

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [64, 256, 7, 7]], which is output 0 of InPlaceABNBackward, is at version 3; expected version 1 instead. Hint: the backtrace further above shows the operation that failed to compute its gradient. The variable in question was changed in there or anywhere later. Good luck!

之前应用InplaceABN的时候，并没有研读过paper和代码，所以在解决这个问题的时候，花费了数小时，像无头苍蝇一样试错，虽然知道是连续的inplace操作引发的问题，但是没有定位到具体引发问题是在哪个block的哪块代码，居然一直在错误地方尝试clone()来解决。次日常看github的issue，才将问题原因真正搞清楚。

1. InplaceABN提供的block

ABN is standard BN + activation (no memory savings).
InPlaceABN is BN+activation done inplace (with memory savings).
InPlaceABNSyncis BN+activ

最低0.47元/天 解锁文章
RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors a
CSDN 精品推荐
07-14 2199
时，默认情况下，PyTorch 会释放中间计算图，以节省内存。如果你需要多次反向传播（例如在循环中多次调用），需要指定。这是由于在执行反向传播时，尝试了第二次通过计算图进行反向传播，而没有指定。训练模型时出现如下问题。
Pytorch: inplace operation runtimeError
gulaixiangjuejue的博客
09-15 1028
问题描述： 在PyTorch框架下搭建简单的网络结构并训练时，报以下错误： RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.DoubleTensor [100, 300]], which is output 0 of TBackward, is at version 2; expected version 1 ...
inplace-abn 报错解决: ImportError: libcudart.so.9.0: cannot open shared object file: No such file or dir
Michael to Learn
12-04 6418
inplace-abn 报错解决 报错信息如下： Traceback (most recent call last): File "train.py", line 14, in <module> from unet import UNet File "/data3/yuechen/new/pytorch_unet/unet/__init__.py", line 1, in <module> from .unet_model import UNet File
在pytorch中由于原地操作引起的报错：RuntimeError: one of the variables needed for gradient computation has been mod
哦牛逼，我放我GitHub博客链接还报违规的
05-08 3990
在python中，对tensor按坐标赋值是一个原地操作
inplace_abn:就地激活的BatchNorm，用于DNN的内存优化训练
04-06
就地激活的批次标准 就地激活的BatchNorm（InPlace-ABN）是一种新颖的方法，可以减少训练深度网络所需的内存。 通过将BN +非线性激活重新定义为一次就地操作，它可以在现代体系结构（如ResNet，ResNeXt和Wider ResNet）中节省多达50％的内存，同时根据需要智能地丢弃或重新计算中间缓冲区。 该存储库包含InPlace-ABN层的实现，以及一些用于重现本文中报告的ImageNet分类结果的训练脚本。 现在，我们还发布了用于语义分割的推理代码，以及的Mapillary Vistas训练模型。 可以在本页底部找到更多信息。 引文 如果您在研究中使用就地激活的批次标准，请引用： @inproceedings { rotabulo2017place , title = { In-Place Activated BatchNorm for Memory-Opti
编译inplace_abn
HFsdb1的博客
08-14 1772
出现以上问题 1、检查pytorch版本，一般1.5以上 2、检查cuda版本，一般10.1以上 3、检查环境变量设置 linux：export -p 重点检查 PATH 、LD_LIBRARY_PATH 不能重复设置变量，将重复的删掉 unset LANG 是将LANG删掉 declare -x LANG是将LANG变量设置进去 ...
【OpenCV】in-place操作
Kigha的博客
06-06 1740
所谓的in-place操作，即就地操作，就是说一个函数的输入图像src与输出图像dst是同一图像的。 比如，高斯滤波函数GaussianBlur( )支持in-place,那么我们就可以：GaussianBlur(src,src,Size(3,3),2,2);而不需GaussianBlur(src,dst,Size(2,2),2,2)。
Forward-Backward error
surprising
04-18 1108
文章目录Forward-Backward Error:Automatic Detection of Tracking Failures Forward-Backward Error:Automatic Detection of Tracking Failures 发表于2010年的ICPR,作者为Zdenek Kalal 这篇论文提出了一个新的方法用于检测跟踪失败，检测基于forward-back...
基于前向后向光流的目标跟踪（Forward-Backward Error: Automatic Detection of Tracking Failures）
03-18
1、参考文献：Forward-Backward Error: Automatic Detection of Tracking Failures，文件附带参考文献 2、用matlab、C、Opencv 混合编程实现 3、遇到不兼容时，请在mex文件夹从新编译生成新的“mex”文件
译文TLD：Forward-Backward Error Automatic Detection of Tracking Failures翻译
11-07
针对这些问题，本文介绍了一种新颖的方法——**前后误差法(Forward-Backward Error Automatic Detection)**，用于自动检测跟踪过程中的失败情况。 #### 2. 前后误差法概述 该方法基于一个核心假设：如果跟踪是正确...
InplaceABN
weixin_46141646的博客
03-26 3048
InplaceABN库只支持版本小于1.0.0的torch #code is from https://sourcegraph.com/github.com/HRNet/HRNet-Semantic-# Segmentation/-/blob/lib/models/bn_helper.py if torch.__version__.startswith('0'): from .sync_bn.inplace_abn.bn import InPlaceABNSync
Pytorch的一些小问题
qq_43481350的博客
04-21 4247
Pytorch图神经网络训练过程中的一些问题
计算图错误
wonderboyLU的博客
07-05 369
计算图错误原因
expected version 1 instead. Hint: the backtrace further above shows the operation that faile
三木君的博客
03-19 1245
今天排bug 常见解决方案： 1） += 这样的话相当于把之前的值覆盖了，因此反向传播的时候，就会报错。变成x = x+ 1（还记得我刚看到这个代码的时候觉得，卧槽+=多方便，这沙雕这基本语法都不知道吗） 2）如果是对比学习的例如GAN这种网络，两个loss.backward()放在一起大概这样子。 3）有可能是自己代码写的太离谱了。我把自己的model和loss.backward()放在不同循环了。网上的所有答案都对不上。 model和loss.backward()放在一个循环里好吧。 模型的参数
Pytorch中in-place操作相关错误解析及detach()方法说明
使者大牙ℂypher的博客
03-25 3950
detach方法的实例说明
one of the variables needed for gradient computation has been modified by an inplace operation
qq_44817196的博客
12-19 230
因此，noise_pred[i,-1,:,:].float()改成noise_pred[i,-1,:,:].float().detach()；((mask.float()-22)/56.)改成((mask.float()-22)/56.).detach()在计算loss的时候，根据实际情况，是想加入新的loss，来达到某些目的。根据上面资料的说法，我应该是在新增loss中忘记取消梯度，才导致这种报错。
PyTorch Bug 记录：one of the variables needed for gradient computation has been modified by an inplace
大指挥官
04-02 4478
有一段代码在 pytorch 1.2 上没有问题，但是移植到 pytorch 1.8 就会报如下错误： RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [3136, 10]], which is output 0 of TBackward, is at version 2; expecte
generative-inpainting-pytorch-master 推理bug
weixin_41749533的博客
12-15 1173
问题在于，torch内部forward和backward需要一一对应，但是这此处，源代码中匹配不一致...generative-inpainting-pytorch-master 推理bug。
【已解决】RuntimeError: one of the variables needed for gradient computation has been modified by an inpl
qq_41440361的博客
11-29 1283
报错信息表明在计算梯度时发生了错误，由于 inplace 操作导致了版本不匹配。这种问题通常涉及到对张量进行原地修改，而 PyTorch 的自动求导系统无法跟踪这些修改。多目标优化任务，计算了两个loss loss1和loss2，然后将两者相加得到需要反向传播计算的loss。最终发现问题出在计算 loss 时的表达式上，我之前写的是。
backward
最新发布
10-17
### 使用方法 `backward()` 方法用于在 PyTorch 中进行自动求导，计算张量的梯度。以下是几种不同场景下的使用示例： #### 标量张量的情况 当最终的张量是一个标量时，`backward()` 方法不需要传入参数。 ```python import torch # 创建一个需要梯度的张量 m = torch.tensor([1.0, 2.0, 3.0], requires_grad=True) # 对张量进行运算 n = m * m # 计算梯度 n.sum().backward() # 输出梯度 print(m.grad) ``` #### 非标量张量的情况 当最终的张量是非标量时，`backward()` 方法需要传入一个与该张量形状相同的梯度张量，用于指定链式法则中的权重。 ```python import torch x = torch.tensor([0, 1, 2, 3], dtype=torch.float32, requires_grad=True) y = torch.tensor([2.0, 2.0, 2.0, 2.0]) # 梯度张量 z = 2 * torch.dot(x, x) * y z.backward(y) # 传入梯度张量 print(x.grad) ``` ### 原理 `backward()` 方法的核心原理是基于自动微分技术中的反向传播算法。在 PyTorch 中，当创建一个需要梯度的张量（通过设置 `requires_grad=True`）并对其进行一系列操作时，PyTorch 会构建一个计算图（Computational Graph）来记录这些操作的顺序和依赖关系。 当调用 `backward()` 方法时，PyTorch 会从最终的张量开始，沿着计算图的反向路径，根据链式法则计算每个需要梯度的张量的梯度。具体来说，对于一个函数 \(y = f(x)\)，如果 \(y\) 是一个标量，那么可以直接计算 \(\frac{\partial y}{\partial x}\)；如果 \(y\) 是一个向量，那么需要传入一个与 \(y\) 形状相同的向量 \(v\)，计算 \(\frac{\partial y}{\partial x} \cdot v\)，其中 \(\cdot\) 表示向量的点积。 ### 常见问题及解决方案 #### 梯度累加问题 在默认情况下，PyTorch 会累加梯度。如果需要在每次迭代中重新计算梯度，需要在每次调用 `backward()` 之前手动清零梯度。 ```python import torch x = torch.tensor([0, 1, 2, 3], dtype=torch.float32, requires_grad=True) y = 2 * torch.dot(x, x) y.backward() print(x.grad) # 清零梯度 x.grad.zero_() y = x.sum() y.backward() print(x.grad) ``` #### 多次反向传播问题 如果需要多次调用 `backward()` 方法，需要在第一次调用时设置 `retain_graph=True`，以保留计算图。 ```python import torch import torch.nn as nn class Function(torch.nn.Module): def __init__(self): super(Function, self).__init__() self.Linear = torch.nn.Linear(1, 1) def forward(self, input): output = self.Linear(input) return output func = Function() x = torch.tensor([1.0]) x.requires_grad = True y = func(x) ** 2 y.backward(retain_graph=True) y.backward() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

EnjoyCodingAndGame

愿我的知识，成为您的财富！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值