PyTorch 多个网络反向传播时出现梯度计算错误

于 2024-03-11 07:00:26 发布
阅读量619 收藏 6
点赞数 8
分类专栏： AI算法 文章标签： 深度学习 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adam_captain/article/details/136613202
版权

torch具体报错内容如下

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [128, 1]], which is output 0 of AsStridedBackward0, is at version 
2; expected version 1 instead. Hint: enable anomaly detection to 
find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

我现在正在做的算法是关于强化学习MADDPG，需要用到两个网络actor和critic

经过调试之后发现，我在计算出critic loss之后并没有进行critic网络的反向传播，而是开始计算actor loss。两个网络的loss都计算完毕后才开始进行反向传播就会出现上述报错。

解决方法就是将两个网络的loss和backward都单独封装计算即可

AdamShyly
关注
  • 8
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pytorch 梯度重复计算
weixin_45655219的博客
03-12 543
原因：在进行多次梯度更新时，同一个变量使用了多次，一般情况下是因为这个变量作为一个不变的参数，所以可用[].data使其不参与梯度计算，如advantages参与了计算，但不需要参与梯度的更新，故使用 .data 方法让其脱离计算图。
【基础篇】pytorch学习笔记（二）[自动求导autograd、backword、with torch.no_grad等]
scarletteshu的博客
07-24 771
autograd包为tensors上的所有操作提供自动微分。是一个按运行定义的框架，这意味着你的反向求导是由代码的运行方式定义的，并且每个迭代都可以是不同的。 一、torch.Tensor torch.Tensor是autograd包的中心类。 1. 自动求导 将Tensor的属性.requires_grad设置为True，它将开始跟踪其上的所有操作(比如加减乘除等等计算)。 完成计算后，可调用.backward()自动计算所有梯度。此Tensor的梯度将累积到.grad属性中。 2.取消求导 调用.d.
torch报错
LPMYM的博客
12-19 229
解决办法torch降级，torch==1.4，具体报错原因不知。
Pytorch中in-place操作相关错误解析及detach()方法说明
m0_49963403的博客
03-25 2538
detach方法的实例说明
which is output 0 of AsStridedBackward0, is at version 1； expected version 0 instead
乐趣是人为构建的，构建是一种莫大的乐趣。
04-07 6957
aceback (most recent call last): File "D:\my_codeworkspace\bishe_new\jiaoben\train_KINN_NonFEM_based_swin_freezebone.py", line 264, in <module> trainOneParameter(params) File "D:\my_codeworkspace\bishe_new\jiaoben\train_KINN_NonFEM_based_...
pytorch中的自定义反向传播,求导实例
01-20
那么如何将自定义算法的梯度加入到pytorch的计算图中，能使用Loss.backward()操作自动求导并优化呢。下面的代码展示了这个功能` import torch import numpy as np from PIL import Image from torch.autograd ...
人工神经网络反向传播算法学习.zip
08-28
4. **反向传播**：计算梯度并反向传播到每个权重，更新权重。 5. **优化器**：如梯度下降法，控制权重更新的步长和方向。 6. **训练循环**：反复执行前向传播、反向传播和权重更新，直到达到预设的迭代次数或满足...
解决Pytorch自定义层出现多Variable共享内存错误问题
09-16
同时，由于`clone()`会保留梯度信息，反向传播过程中，`W_mat`的梯度会正确地反传到`W_mat_all`，保持计算的正确性。 总的来说，处理PyTorch中的多Variable共享内存错误的关键在于理解和避免不恰当的in-place操作。...
pytorch 实现的DBN网络
最新发布
03-05
这将确保在计算损失和反向传播时，只考虑有效数据部分，忽略填充的部分。 网络结构可能包括多个RBM层，每个RBM层之后可能会添加全连接层（FC）来进行有监督的微调。全连接层将RBM学习到的高维特征转换为回归任务所...
神经网络反向传播算法.zip
12-18
反向传播算法首先通过前向传播计算网络的输出，然后从输出层开始，按照相反的方向计算每个权重对损失函数的影响，即计算梯度。这个过程称为反向传播，因为误差或损失信息是从输出层“反向”传播到输入层的。 1. **...
第3章 PyTorch深度神经网络及训练.rar
08-09
与TensorFlow等静态图框架不同，PyTorch允许在运行时构建和修改计算图，这为实现复杂的模型和反向传播算法提供了更大的灵活性。例如，你可以动态地定义网络结构，便于实现如自动编码器、递归神经网络或变分自编码器...
关于pytorch中网络loss传播和参数更新的理解
09-18
计算损失后，PyTorch的自动梯度机制(autograd)会跟踪在计算过程中涉及的所有操作，以便后续进行反向传播。 接下来是反向传播(loss.backward())。这是一个关键步骤，它根据损失函数的梯度来更新模型参数。通过调用`...
PyTorch 神经网络1
08-03
torch.autograd 模块提供了自动微分和反向传播的功能，可以自动计算梯度，并实现反向传播。 8. torch.optim 模块 torch.optim 模块提供了多种优化算法，例如 SGD、RMSProp、Adam 等，可以实现权重更新。 9. torch...
pytorch-CNN网络汇总.zip
07-04
9. **模型训练与验证**：在PyTorch中，可以自定义训练和验证循环，通过反向传播计算损失的梯度，然后用优化器更新权重。 10. **模型保存与加载**：`torch.save`和`torch.load`用于模型的持久化，方便模型的复用和...
莫烦Pytorch conditional_GAN.py笔记与报错修改
mooyuan的博客
01-26 1508
406_conditional_GAN.py代码在pytorch1.5以上版本的报错 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [128, 1]], which is output 0 of AsStridedBackward0, is at version 2; expected versi
Pytorch中Trying to backward through the graph和one of the variables needed for gradient错误解决方案
rothschild666的博客
04-14 5493
Trying to backward through the graph a second time one of the variables needed for gradient computation has been modified by an inplace operation
报错解决：one of the variables needed for gradient computation has been modified by an inplace operation
Guihua1215的博客
10-12 432
使用pycharm写的，在settings-》project-》python interpreter找到torch，双击找到specify version，改到需要的版本。后来根据配置要求看了一下，发现是torch版本的问题，把torch版本降级到需要版本就好了。网上说的什么改loss.backward()、改＋=什么尝试了一遍，都没有用。大意就是说在计算梯度的时候检查出某个Variable有被一个。
十三、机器学习进阶知识：神经网络之反向传播算法（梯度、误差反向传播算法BP）
weixin_42051846的博客
02-06 5790
本文主要介绍了神经网络的反向传播过程原理，同时对最常见的误差反向传播算法的原理及实现过程进行说明，通俗易懂，适合新手学习，附源码及实验数据集。
pytorch反向传播计算二阶导
03-26
PyTorch默认只计算一阶导数（梯度），不直接支持计算二阶导数。但是，可以通过以下方法来计算二阶导数： 1.手动计算Hessian矩阵 可以使用PyTorch中的自动微分机制计算一阶导数，在此基础上，可以手动计算二阶导数。假设我们要计算一个标量函数$f(x)$的二阶导数，第一步是计算$f(x)$的一阶导数$g=\frac{\partial f(x)}{\partial x}$，然后计算$g$的一阶导数$h=\frac{\partial g}{\partial x}$，最终得到$f$的二阶导数$h$。可以使用链式法则来计算$h$，例如： ```python import torch x = torch.tensor([1.0], requires_grad=True) # 计算一阶导数 y = x ** 2 g = torch.autograd.grad(y, x, create_graph=True)[0] # 计算二阶导数 h = torch.autograd.grad(g, x)[0] ``` 在这个例子中，我们首先计算$x^2$的一阶导数，即$2x$，然后计算$2x$的一阶导数，即$2$，从而得到二阶导数为$2$。 如果要计算多个变量的二阶导数，可以将它们放在一个向量中，并将梯度和Hessian矩阵表示为矩阵形式。例如，假设我们要计算一个函数$f(x,y)=x^2+y^2$的一阶导数向量和二阶导数矩阵，可以这样做： ```python import torch x = torch.tensor([1.0], requires_grad=True) y = torch.tensor([2.0], requires_grad=True) # 计算一阶导数 z = x ** 2 + y ** 2 g = torch.autograd.grad(z, (x,y), create_graph=True) # 计算二阶导数 h = torch.zeros((2,2)) for i, var in enumerate([x,y]): for j, gvar in enumerate(g): h[i, j] = torch.autograd.grad(gvar, var)[0] ``` 在这个例子中，我们首先计算$f(x,y)$的一阶导数向量$(2x,2y)$，然后计算每个元素的一阶导数，从而得到二阶导数矩阵$\begin{bmatrix}2 & 0 \\ 0 & 2 \end{bmatrix}$。注意，我们需要手动创建一个零矩阵来存储Hessian矩阵。 2.使用torch.autograd.functional.hessian函数 PyTorch 1.8版本新增了一个torch.autograd.functional.hessian函数，可以用来计算二阶导数（Hessian矩阵）。使用该函数，我们只需要提供要计算Hessian矩阵的函数和输入变量，就可以得到Hessian矩阵。例如，假设我们要计算函数$f(x)=\sin(x_1+x_2)+x_1x_2$在输入$(\pi/4, \pi/4)$处的Hessian矩阵，可以这样做： ```python import torch x = torch.tensor([3.14/4, 3.14/4], requires_grad=True) def f(x): return torch.sin(x[0]+x[1]) + x[0]*x[1] hessian = torch.autograd.functional.hessian(f, x) ``` 在这个例子中，我们定义了一个函数$f(x)$，然后计算在输入$x=(\pi/4, \pi/4)$处的Hessian矩阵。注意，输入$x$应该是一个张量，并且需要将requires_grad属性设置为True。在计算Hessian矩阵时，我们只需要调用torch.autograd.functional.hessian函数，并传入函数$f$和输入变量$x$即可。 需要注意的是，计算Hessian矩阵的运算量非常大，因此在实际应用中应该尽量避免计算Hessian矩阵。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值