PyTorch 多个网络反向传播时出现梯度计算错误

于 2024-03-11 07:00:26 发布
阅读量628 收藏 6
点赞数 8
分类专栏： AI算法 文章标签： 深度学习 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adam_captain/article/details/136613202
版权

torch具体报错内容如下

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [128, 1]], which is output 0 of AsStridedBackward0, is at version 
2; expected version 1 instead. Hint: enable anomaly detection to 
find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

我现在正在做的算法是关于强化学习MADDPG，需要用到两个网络actor和critic

经过调试之后发现，我在计算出critic loss之后并没有进行critic网络的反向传播，而是开始计算actor loss。两个网络的loss都计算完毕后才开始进行反向传播就会出现上述报错。

解决方法就是将两个网络的loss和backward都单独封装计算即可

AdamShyly
关注
  • 8
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pytorch 梯度重复计算
weixin_45655219的博客
03-12 547
原因：在进行多次梯度更新时，同一个变量使用了多次，一般情况下是因为这个变量作为一个不变的参数，所以可用[].data使其不参与梯度计算，如advantages参与了计算，但不需要参与梯度的更新，故使用 .data 方法让其脱离计算图。
【基础篇】pytorch学习笔记（二）[自动求导autograd、backword、with torch.no_grad等]
scarletteshu的博客
07-24 771
autograd包为tensors上的所有操作提供自动微分。是一个按运行定义的框架，这意味着你的反向求导是由代码的运行方式定义的，并且每个迭代都可以是不同的。 一、torch.Tensor torch.Tensor是autograd包的中心类。 1. 自动求导 将Tensor的属性.requires_grad设置为True，它将开始跟踪其上的所有操作(比如加减乘除等等计算)。 完成计算后，可调用.backward()自动计算所有梯度。此Tensor的梯度将累积到.grad属性中。 2.取消求导 调用.d.
torch报错
LPMYM的博客
12-19 233
解决办法torch降级，torch==1.4，具体报错原因不知。
Pytorch中in-place操作相关错误解析及detach()方法说明
m0_49963403的博客
03-25 2556
detach方法的实例说明
which is output 0 of AsStridedBackward0, is at version 1； expected version 0 instead
乐趣是人为构建的，构建是一种莫大的乐趣。
04-07 6963
aceback (most recent call last): File "D:\my_codeworkspace\bishe_new\jiaoben\train_KINN_NonFEM_based_swin_freezebone.py", line 264, in <module> trainOneParameter(params) File "D:\my_codeworkspace\bishe_new\jiaoben\train_KINN_NonFEM_based_...
pytorch中的自定义反向传播,求导实例
01-20
那么如何将自定义算法的梯度加入到pytorch的计算图中，能使用Loss.backward()操作自动求导并优化呢。下面的代码展示了这个功能` import torch import numpy as np from PIL import Image from torch.autograd ...
人工神经网络反向传播算法学习.zip
08-28
4. **反向传播**：计算梯度并反向传播到每个权重，更新权重。 5. **优化器**：如梯度下降法，控制权重更新的步长和方向。 6. **训练循环**：反复执行前向传播、反向传播和权重更新，直到达到预设的迭代次数或满足...
解决Pytorch自定义层出现多Variable共享内存错误问题
09-16
同时，由于`clone()`会保留梯度信息，反向传播过程中，`W_mat`的梯度会正确地反传到`W_mat_all`，保持计算的正确性。 总的来说，处理PyTorch中的多Variable共享内存错误的关键在于理解和避免不恰当的in-place操作。...
pytorch 实现的DBN网络
最新发布
03-05
这将确保在计算损失和反向传播时，只考虑有效数据部分，忽略填充的部分。 网络结构可能包括多个RBM层，每个RBM层之后可能会添加全连接层（FC）来进行有监督的微调。全连接层将RBM学习到的高维特征转换为回归任务所...
莫烦Pytorch conditional_GAN.py笔记与报错修改
mooyuan的博客
01-26 1508
406_conditional_GAN.py代码在pytorch1.5以上版本的报错 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [128, 1]], which is output 0 of AsStridedBackward0, is at version 2; expected versi
Pytorch中Trying to backward through the graph和one of the variables needed for gradient错误解决方案
rothschild666的博客
04-14 5502
Trying to backward through the graph a second time one of the variables needed for gradient computation has been modified by an inplace operation
报错解决：one of the variables needed for gradient computation has been modified by an inplace operation
Guihua1215的博客
10-12 436
使用pycharm写的，在settings-》project-》python interpreter找到torch，双击找到specify version，改到需要的版本。后来根据配置要求看了一下，发现是torch版本的问题，把torch版本降级到需要版本就好了。网上说的什么改loss.backward()、改＋=什么尝试了一遍，都没有用。大意就是说在计算梯度的时候检查出某个Variable有被一个。
十三、机器学习进阶知识：神经网络之反向传播算法（梯度、误差反向传播算法BP）
weixin_42051846的博客
02-06 5810
本文主要介绍了神经网络的反向传播过程原理，同时对最常见的误差反向传播算法的原理及实现过程进行说明，通俗易懂，适合新手学习，附源码及实验数据集。
「Bug」问题分析 RuntimeError：which is output 0 of ReluBackward0
绿色羽毛
06-06 4688
对于使用Pytorch 的小伙伴，可能在复现模型时候出现了以下报错，这个错误是因为出现了 inplace operation 造成的，以下尝试了几种解决方案，方案4⃣️/5⃣️ 可行，希望对有同样问题的小伙伴有帮助！首先我们将错误定位到 [torch.FloatTensor [1, 128, 104, 160]] 位置，维度信息 有助于我们分析错误大概出现在哪一个分支上，然后再不断的缩小错误我也在往常查找了一些解决办法，例如：......
pytorch学习笔记-基础-自动求导
weixin_42681868的博客
08-22 738
import torch torch.__version__ '1.2.0' 使用PyTorch计算梯度数值 PyTorch的Autograd模块实现了深度学习的算法中的向传播求导数，在张量（Tensor类）上的所有操作，Autograd都能为他们自动提供微分，简化了手动计算导数的复杂过程。 在0.4以前的版本中，Pytorch使用Variable类来自动计算所有的梯度Variable类主要包...
解决PyTorch 出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 问题
热门推荐
andyL_05的博客
08-12 1万+
解决PyTorch 出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 问题 在使用pytorch框架训练中，进行loss.backward()一步时可能出现如下的问题： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float,
[Pytorch框架] 2.1.2 使用PyTorch计算梯度数值
yegeli的博客
02-01 956
文章目录使用PyTorch计算梯度数值Autograd简单的自动求导复杂的自动求导Autograd 过程解析扩展Autograd import torch torch.__version__ '1.0.1.post2' 使用PyTorch计算梯度数值 PyTorch的Autograd模块实现了深度学习的算法中的向传播求导数，在张量（Tensor类）上的所有操作，Autograd都能为他们自动提供微分，简化了手动计算导数的复杂过程。 在0.4以前的版本中，Pytorch使用Variable类来自动计算所有
BUG pytorch
小卜妞的博客
11-18 9017
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [1, 1]], which is output 0 of TBackward, is at version 2; expected version 1 instead. Hint: enable anomaly detection to find th
pytorch反向传播计算二阶导
03-26
PyTorch默认只计算一阶导数（梯度），不直接支持计算二阶导数。但是，可以通过以下方法来计算二阶导数： 1.手动计算Hessian矩阵 可以使用PyTorch中的自动微分机制计算一阶导数，在此基础上，可以手动计算二阶导数。假设我们要计算一个标量函数$f(x)$的二阶导数，第一步是计算$f(x)$的一阶导数$g=\frac{\partial f(x)}{\partial x}$，然后计算$g$的一阶导数$h=\frac{\partial g}{\partial x}$，最终得到$f$的二阶导数$h$。可以使用链式法则来计算$h$，例如： ```python import torch x = torch.tensor([1.0], requires_grad=True) # 计算一阶导数 y = x ** 2 g = torch.autograd.grad(y, x, create_graph=True)[0] # 计算二阶导数 h = torch.autograd.grad(g, x)[0] ``` 在这个例子中，我们首先计算$x^2$的一阶导数，即$2x$，然后计算$2x$的一阶导数，即$2$，从而得到二阶导数为$2$。 如果要计算多个变量的二阶导数，可以将它们放在一个向量中，并将梯度和Hessian矩阵表示为矩阵形式。例如，假设我们要计算一个函数$f(x,y)=x^2+y^2$的一阶导数向量和二阶导数矩阵，可以这样做： ```python import torch x = torch.tensor([1.0], requires_grad=True) y = torch.tensor([2.0], requires_grad=True) # 计算一阶导数 z = x ** 2 + y ** 2 g = torch.autograd.grad(z, (x,y), create_graph=True) # 计算二阶导数 h = torch.zeros((2,2)) for i, var in enumerate([x,y]): for j, gvar in enumerate(g): h[i, j] = torch.autograd.grad(gvar, var)[0] ``` 在这个例子中，我们首先计算$f(x,y)$的一阶导数向量$(2x,2y)$，然后计算每个元素的一阶导数，从而得到二阶导数矩阵$\begin{bmatrix}2 & 0 \\ 0 & 2 \end{bmatrix}$。注意，我们需要手动创建一个零矩阵来存储Hessian矩阵。 2.使用torch.autograd.functional.hessian函数 PyTorch 1.8版本新增了一个torch.autograd.functional.hessian函数，可以用来计算二阶导数（Hessian矩阵）。使用该函数，我们只需要提供要计算Hessian矩阵的函数和输入变量，就可以得到Hessian矩阵。例如，假设我们要计算函数$f(x)=\sin(x_1+x_2)+x_1x_2$在输入$(\pi/4, \pi/4)$处的Hessian矩阵，可以这样做： ```python import torch x = torch.tensor([3.14/4, 3.14/4], requires_grad=True) def f(x): return torch.sin(x[0]+x[1]) + x[0]*x[1] hessian = torch.autograd.functional.hessian(f, x) ``` 在这个例子中，我们定义了一个函数$f(x)$，然后计算在输入$x=(\pi/4, \pi/4)$处的Hessian矩阵。注意，输入$x$应该是一个张量，并且需要将requires_grad属性设置为True。在计算Hessian矩阵时，我们只需要调用torch.autograd.functional.hessian函数，并传入函数$f$和输入变量$x$即可。 需要注意的是，计算Hessian矩阵的运算量非常大，因此在实际应用中应该尽量避免计算Hessian矩阵。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值