MindSpore 如何实现像Torch里面 retain_graph=True 的功能

于 2024-06-05 11:20:02 发布
阅读量332 收藏 2
点赞数 9
文章标签： python 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/139467403
版权

问题描述

假设首先通过数据x、标签y及 mindspore.gard 获取到了模型的梯度g，

现在需要将梯度g进行一定的运算（假设为 f(g)），最后 f(g) 需要对最初的 数据x 进行求导，mindspore 该如何实现呢？

如果使用 Torch 的话，在求 梯度g 的时候只要 retain_graph=True， f(g) 就可以直接对 数据x 进行求导。

但是有大佬知道 MindSpore 该如何实现吗？

解决方案

在第一次求梯度g的时候，不调用MindSpore的 NLLLoss() 即可（然而 MindSpore 自带的交叉熵损失也自动调用了 NLLLoss()，因此也需要重写 ）。

通过自己写负对数似然损失nll_loss，成功不报错。

%E6%88%AA%E5%B1%8F2024-03-16%2017.22.25.png

小乐快乐
关注
  • 9
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
pytorch retain_graph=True 训练导致GPU显存泄漏 OOM (out of memory)
Hello Word!
05-13 2374
训练过程中多个loss回传产生了GPU显存不够用的情况（即使是设置batch_size最小也不行），在backward函数中去掉retain_graph=True之后，情况没有出现。 我这里出现这个情况的原因：因为不同loss求完之后没有算均值，可能返回的是一个tensor，要通过 .mean() 把它变成标量。 解决： criterion = torch.nn.CrossEntropyLoss() output = module_a(fc1Features,label) arcLoss = criteri
Pytorch 中retain_graph的用法详解
09-18
今天小编就为大家分享一篇Pytorch 中retain_graph的用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
model.eval()和loss.backward(retain_graph = True)
xx_xjm的博客
04-09 2084
1:model.eval()会固定网络的nn.BN层和nn.Dropout层，nn.BN层在train的时候针对每一个batch会计算一次均值方差，然后最后归纳整个训练集的均值方差，所以在test的时候就不能再让BN层的均值方差发生变化了。参考文章：(1条消息) Pytorch model.eval()的作用_嘿，兄弟，好久不见的博客-CSDN博客_model.eval()作用 2：loss.backward(retain_graph = True)，首先，forward一次会建立一个计算图，正常back
pytorch的计算图 loss.backward(retain_graph=True) # 添加retain_graph=True标识，让计算图不被立即释放
Arthur_Holmes的博客
12-09 8696
前言：接触pytorch这几个月来，一开始就对计算图的奥妙模糊不清，不知道其内部如何传播。这几天有点时间，就去翻阅了Github，pytorch Forum，还有很多个人博客（后面会给出链接），再加上自己的原本一些见解，现在对它的计算图有了更深层次的理解。pytorch是非常好用和容易上手的深度学习框架，因为它所构建的是动态图，极大的方便了coding and debug。可是对于初学者而言，计算...
Pytorch: retain_graph=True错误信息
Pl_Sun的博客
06-25 1807
(Pytorch:RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time) 1. 具有多个loss值 retain_graph设置True，一般多用于两次backward # 假如有两个Loss，先执行第一个的backward，
backward的 retain_variables=True与retain_graph=True 区别及应用
bc521bc的博客
01-05 9880
首先 ：retain_variables=True 与 retain_graph=True   没有任何区别          只是 retain_variables 会在pytorch 新版本中被取消掉，将使用 retain_graph 。         所以 在使用 retain_variables=True 时报错：         TypeError: backward() got...
x=torch.tensor(1.) w1=torch.tensor(2.,requires_grad=True) b1=torch.tensor(1.) w2=torch.tensor(2.,requires_grad=True) b2=torch.tensor(1.) y1=x*w1+b1 y2=y1*w2+b2 dy2_dy1=autograd.grad(y2,[y1],retain_graph=True)[0] dy1_dw1=autograd.grad(y1,[w1],retain_graph=True)[0] dy2_dw1=autograd.grad(y2,[w1],retain_graph=True)[0] dy2_dy1*dy1_dw1 dy2_dw1
05-31
dy2_dy1=torch.autograd.grad(y2,[y1],retain_graph=True)[0] dy1_dw1=torch.autograd.grad(y1,[w1],retain_graph=True)[0] dy2_dw1=torch.autograd.grad(y2,[w1],retain_graph=True)[0] dy2_dy1*dy1_dw1 dy2_dw...
def calc_gradient_penalty(self, netD, real_data, fake_data): alpha = torch.rand(1, 1) alpha = alpha.expand(real_data.size()) alpha = alpha.cuda() interpolates = alpha * real_data + ((1 - alpha) * fake_data) interpolates = interpolates.cuda() interpolates = Variable(interpolates, requires_grad=True) disc_interpolates, s = netD.forward(interpolates) gradients1 = autograd.grad(outputs=disc_interpolates, inputs=interpolates, grad_outputs=torch.ones(disc_interpolates.size()).cuda(), create_graph=True, retain_graph=True, only_inputs=True)[0] gradients2 = autograd.grad(outputs=s, inputs=interpolates, grad_outputs=torch.ones(s.size()).cuda(), create_graph=True, retain_graph=True, only_inputs=True)[0] gradient_penalty = (((gradients1.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA) + \ (((gradients2.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA) return gradient_penalty运行上述代码，出现错误：RuntimeError: One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True if this is the desired behavior.
05-24
create_graph=True, retain_graph=True, only_inputs=True, allow_unused=True)[0] gradients2 = autograd.grad(outputs=s, inputs=interpolates, grad_outputs=torch.ones(s.size()).cuda(), create_graph=True,...
def calc_gradient_penalty(self, netD, real_data, fake_data): alpha = torch.rand(1, 1) alpha = alpha.expand(real_data.size()) alpha = alpha.cuda() interpolates = alpha * real_data + ((1 - alpha) * fake_data) interpolates = interpolates.cuda() interpolates = Variable(interpolates, requires_grad=True) disc_interpolates, s = netD.forward(interpolates) s = torch.autograd.Variable(torch.tensor(0.0), requires_grad=True).cuda() gradients1 = autograd.grad(outputs=disc_interpolates, inputs=interpolates, grad_outputs=torch.ones(disc_interpolates.size()).cuda(), create_graph=True, retain_graph=True, only_inputs=True, allow_unused=True)[0] gradients2 = autograd.grad(outputs=s, inputs=interpolates, grad_outputs=torch.ones(s.size()).cuda(), create_graph=True, retain_graph=True, only_inputs=True, allow_unused=True)[0] gradient_penalty = (((gradients1.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA) + \ (((gradients2.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA) return gradient_penalty，上述代码中(((gradients2.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA)提示出现错误：RuntimeError: One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True if this is the desired behavior.
05-24
create_graph=True, retain_graph=True, only_inputs=True, allow_unused=True)[0] ``` 改为： ``` gradients2 = autograd.grad(outputs=s, inputs=interpolates, grad_outputs=torch.ones(s.size()).cuda(), ...
解释y.backward(torch.ones_like(x), retain_graph=True)
04-25
这行代码是PyTorch中计算梯度的方法，其中x是...参数torch.ones_like(x)指定了计算的梯度值是1，而retain_graph=True表示保留计算图，以方便多次计算梯度，例如在反向传播中需要计算多个张量的梯度时就需要保留计算图。
pytorch 中retain_graph==True的作用
热门推荐
qq_39861441的博客
01-31 3万+
总的来说进行一次backward之后，各个节点的值会清除，这样进行第二次backward会报错，如果加上retain_graph==True后,可以再来一次backward。 retain_graph参数的作用 官方定义： retain_graph (bool, optional) – If False, the graph used to compute the grad will ...
Pytorch中backward(retain_graph=True)的 retain_graph参数解释
今晚打老虎
02-28 1万+
每次 backward() 时，默认会把整个计算图free掉。一般情况下是每次迭代，只需一次 forward() 和一次backward() ,前向运算forward() 和反向传播backward()是成对存在的，一般一次backward()也是够用的。 但是不排除，由于自定义loss等的复杂性，需要一次forward()，多个不同loss的backward()来累积同一个网络的gra...
Pytorch中retain_graph参数的作用
weixin_36670529的博客
04-11 2605
RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time. 前言 在pytorch神经网络迁移的官方教程中有这样一个损失层函数（具体看这里提供0.3.0版中文链接：https://oldpan.me/archives/pyto
retain_graph，requires_grad，create_graph区别
最新发布
i89211的博客
01-16 645
【代码】retain_graph，requires_grad，create_graph区别。
【Pytorch进阶】pytorch中loss.backward() retain_graph=True参数意义
星之所望的博客
08-21 3142
在定义loss时上面的代码是标准的三部曲，但是有时会碰到loss.backward(retain_graph=True)这样的用法。这个用法的目的主要是保存上一次计算的梯度不被释放。具体的计算图细节问题可以见参考文献[1]。
pytorch的计算图loss.backward(retain_graph=True)实现复杂loss的训练
weixin_42228294的博客
08-23 1737
如图是pytorch采用计算图来求解线性方程：y(h,x)=Wh∗h+Wx∗xy(h,x)=W_{h}*h+W_{x} *xy(h,x)=Wh​∗h+Wx​∗x其中‘→’的方向为反向传播的方向。然而一般情况下当反向传播backward()结束时代表计算图的一次迭代就结束了，此时计算图会自动free掉。但在我们的实验过程中，常常需要设计复杂的损失函数以取得我们所需要的显著的实验效果。如下图： 两个损失函数是截然不同的两类损失函数，因此我们可以通过代码：backward(retain_graph=Tr.
动手学深度学习笔记第四章（多层感知器）
qq_46144849的博客
01-13 1009
深度学习知识
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值