pytorch的计算图loss.backward(retain_graph=True)实现复杂loss的训练

最新推荐文章于 2024-05-28 11:30:31 发布
最新推荐文章于 2024-05-28 11:30:31 发布
阅读量1.7k 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42228294/article/details/119864552
版权

在这里插入图片描述
如图是pytorch采用计算图来求解线性方程： y ( h , x ) = W h ∗ h + W x ∗ x y(h,x)=W_{h}*h+W_{x} *x y(h,x)=Wh​∗h+Wx​∗x其中‘→’的方向为反向传播的方向。然而一般情况下当反向传播backward()结束时代表计算图的一次迭代就结束了，此时计算图会自动free掉。但在我们的实验过程中，常常需要设计复杂的损失函数以取得我们所需要的显著的实验效果。如下图：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
两个损失函数是截然不同的两类损失函数，因此我们可以通过代码：backward(retain_graph=True)在计算出第一个损失函数的梯度值后保存计算图用于继续计算第二个损失函数的梯度。
在这里插入图片描述

Mr.小蔡
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch的backward()相关理解
jacke121的专栏
10-10 1万+
Pytorch的backward()相关理解 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/douhaoexia/article/details/78821428 最近一直在用pytorch做GAN相关的实验，pytorch 框架灵活易用，很适合学术界开展研究工作。 这两天遇到了一些模型参数寻优的问题，才发现自己对pytorch的自动求导和...
pytorch的计算图 loss.backward(retain_graph=True) # 添加retain_graph=True标识，让计算图不被立即释放
Arthur_Holmes的博客
12-09 8498
前言：接触pytorch这几个月来，一开始就对计算图的奥妙模糊不清，不知道其内部如何传播。这几天有点时间，就去翻阅了Github，pytorch Forum，还有很多个人博客（后面会给出链接），再加上自己的原本一些见解，现在对它的计算图有了更深层次的理解。pytorch是非常好用和容易上手的深度学习框架，因为它所构建的是动态图，极大的方便了coding and debug。可是对于初学者而言，计算...
Pytorch中backward(retain_graph=True)的 retain_graph参数解释
今晚打老虎
02-28 1万+
每次 backward() 时，默认会把整个计算图free掉。一般情况下是每次迭代，只需一次 forward() 和一次backward() ,前向运算forward() 和反向传播backward()是成对存在的，一般一次backward()也是够用的。 但是不排除，由于自定义loss等的复杂性，需要一次forward()，多个不同loss的backward()来累积同一个网络的gra...
Pytorch: loss.backward()背后的原理
最新发布
日常学习与专研的记录
05-28 1442
本文介绍pytorch的 loss.backward()的背后原理
pytorch中使用torchviz可视化某网络或loss函数计算图后，计算图节点的理解
weixin_52582300的博客
01-30 1381
torchviz输出网络结构计算图，计算图节点的理解
深度之眼Pytorch框架训练营第四期——PyTorch的计算图与动态图机制
Ikerlz的博客
05-10 448
文章目录`Pytorch`的计算图与动态图机制1、计算图（Computational Graph）2、动态图机制 Pytorch的计算图与动态图机制 1、计算图（Computational Graph） 计算图是一个用来描述运算的有向无环图 计算图有两个主要元素：结点(Node)和边(Edge)： 结点表示数据：向量，矩阵，张量等 边表示运算，如加减乘除卷积等 例子：利用计算图表示y=(x+w)∗(w+1)y=(x+w) *(w+1)y=(x+w)∗(w+1) 第一步：创建xxx和www 第二步：令a=
pytorch.backward()
01-06
pytorch.backward() 举例上手y=w*x，自动求导 import torch from torch.autograd import Variable x=Variable(torch.Tensor([2])) y=Variable(torch.Tensor([10])) w = Variable(torch.randn(1),requires_grad = ...
Pytorch 中retain_graph的用法详解
09-18
今天小编就为大家分享一篇Pytorch 中retain_graph的用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch-Triplet_loss:用Pytorch实现三重损失
05-16
**Pytorch-Triplet_loss: 用Pytorch实现三重损失** 在深度学习领域，损失函数是模型训练的核心部分，它衡量模型预测结果与实际标签之间的差距。其中，三重损失（Triplet Loss）是一种在计算机视觉任务，尤其是人脸...
mnist.zip_MNIST pytorch_pytorch_pytorch mnist_pytorch network_zi
09-20
PyTorch提供了动态计算图的功能，使得构建和训练神经网络变得更加直观。 "pytorch network"指的是我们将构建一个神经网络来处理MNIST数据。通常，对于这种图像分类任务，我们会选择一个卷积神经网络（CNN）或者全...
【Pytorch进阶】pytorch中loss.backward() retain_graph=True参数意义
sxl的博客
05-10 2542
目录1 定义loss backward2 例子3 参考文献 1 定义loss backward optimizer.zero_grad() loss.backward() optimizer.step() 在定义loss时上面的代码是标准的三部曲，但是有时会碰到loss.backward(retain_graph=True)这样的用法。 这个用法的目的主要是保存上一次计算的梯度不被释放。具体的计算图细节问题可以见参考文献[1]。 2 例子 retain_graph参数的作用见参考文献【2】 官方定义： r
【pytorch笔记】随便随便
qq_43557445的博客
10-30 173
一、loss.backward() 这个函数就是计算图中叶子节点有关的当前张量的梯度。 1、retain_graph=True参数 由于模型中需要多次backward()，后一次backward()都会清空前一次backward()存储在buffuer中的梯度，因此需要retain_graph=True，让前一次梯度保存，直到更新完成。 【注】不要每次backward()都使用retain_graph=True，因为这样会使得内存被占用，越来越慢，最后一次backward()就不需要retain_graph
Pytorch里面多任务Loss是加起来还是分别backward？
qq_29462849的博客
07-01 3331
作者丨歪杠小胀@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/451441329编辑丨极市平台导读如果只有一个loss，那么直接loss.backward()即可，但是不止一个loss时，就不知道将backward()放在哪里了。本文作者总结了一些自己在遇到该问题时的解决方式，希望能和大家一起讨论交流～记录写这篇文章的初衷最近在复现一篇...
Pytorch: retain_graph=True错误信息
Pl_Sun的博客
06-25 1773
(Pytorch:RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time) 1. 具有多个loss值 retain_graph设置True，一般多用于两次backward # 假如有两个Loss，先执行第一个的backward，
pytorch学习笔记——loss.backward()、optimizer.step()、scheduler.step()
phily123的博客
03-03 2375
loss.backward()进行反向传播求出梯度 optimizer进行参数管理与更新，所以optimizer放在backward后面用求出的梯度进行参数更行，记住step之前要进行optimizer.zero_grad()，否则用的梯度包含上一个batch的，相当于batch_size为之前的两倍，所以optimizer.step()是用在batch里的 scheduler.step()是用来更新学习率的，所以用在epoch里 参考资料： Pytorch optimizer.step() 和loss.b
PyTorch基础
NeverFadeAway的博客
10-08 507
PyTorch文档：https://pytorch.org/docs/stable/index.html PyTorch常用代码段合集：https://zhuanlan.zhihu.com/p/205407928 一、基础知识 Pytorch和Tensorflow的数据格式 Pytorch: N * Channels * Height * Width, NCHW Tensorflow: N * Height * Width * Channels, NHWC 自动求导(autograd)机制
Pytorch中loss.backward(),loss为矢量时，对参数的理解
纯分享，内容不固定，平时学到什么发什么（非涉密内容），没有积分的话下载内容可以在相关博客下评论区留邮箱，看见了都会发的。
09-27 5661
对Pytorch中backward（）函数参数的理解y.backward(v)代码验证运行结果 y.backward(v) 以y = w x为例，计算x关于y的梯度： y对x的导数，包含了y中各个元素对x的导数，所以，计算时y中各个元素对x的偏导需要一个权重，因此，v需要和y同维度。 代码验证 import torch x = torch.tensor([[[1.],[3.]]],requires_grad = True) #requires_grad打开梯度计算，必须是浮点数 W = torch.ten
Pytorch optimizer.step() 和loss.backward()和scheduler.step()的关系与区别 （Pytorch 代码讲解）
热门推荐
xiaoxifei的专栏
02-20 6万+
因为有人问我optimizer的step为什么不能放在min-batch那个循环之外，还有optimizer.step和loss.backward的区别；那么我想把答案记录下来。 首先需要明确optimzier优化器的作用, 形象地来说，优化器就是需要根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数计算值的作用，这也是机器学习里面最一般的方法论。 从优化器的作用出发，要使得优...
loss.backward(retain_graph=False)
05-10
`retain_graph` 参数表示是否在计算梯度之后保留计算图，如果为 True，则可以多次调用 `loss.backward()` 来计算梯度，如果为 False，则计算图会被清除，不能再次计算梯度。一般来说，在训练过程中，只需要调用一次 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值