关于pytorch的backward()

最新推荐文章于 2023-07-15 15:33:04 发布
最新推荐文章于 2023-07-15 15:33:04 发布
阅读量1.1k 收藏
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27095227/article/details/107845421
版权

pytorch中的loss.backward()是梯度反传，计算每一个变量的grad。
只是之前在纠结GAN的两个loss什么时候反传，参数什么时候更新的时候，观察到backward()后，内存的存储量下降，原来反传完毕之后，就把中间计算变量都释放了。
所以你重复运行两次loss.backward()会报错：

Trying to backward through the graph a second time, but the buffers have already been freed.

当然你可以加上loss.backward(retain_graph=True)

额外的参考https://oldpan.me/archives/pytorch-retain_graph-work

林中化人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch的Backward过程用时太长？
ahhhhhh520的博客
05-19 2925
pytorch的Backward过程用时太长?问题描述解决方案 问题描述 使用pytorch对网络进行训练的时候遇到一个问题，forward阶段很快(只需要几毫秒)，backward阶段却用时很长(需要十多秒)。导致这个问题的原因很容易被大家忽视，而且网上基本上没有直接的解决方案，经过一天的折腾，总算把导致这个问题的原因搞清楚了。 解决方案 导致这个问题的原因在于训练数据的浅拷贝，由于backward过程中的梯度是和模型推理过程中的张量相关的，如果这些张量在被模型使用之前没有被深拷贝，意味着backward
pytorch loss.backword() 时间太长
咖乐部
02-07 2597
tensor_a = tensor_b.clone().detach()
pytorch 运行到loss.backward就报错Process finished with exit code -1073741819 (0xC0000005)
qq_36614037的博客
07-29 685
1.检查过CUDA和CUDNN以及pytorch的版本没问题。 哪位大佬知道咋解决
Pytorch中的backward
热门推荐
兔清风的博客
03-30 1万+
原文：https://sherlockliao.github.io/2017/07/10/backward/接触了PyTorch这么长的时间，也玩了很多PyTorch的骚操作，都特别简单直观地实现了，但是有一个网络训练过程中的操作之前一直没有仔细去考虑过，那就是loss.backward()，看到这个大家一定都很熟悉，loss是网络的损失函数，是一个标量，你可能会说这不就是反向传播吗，有什么好讲的。
关于 loss.backward()导致的Process finished with exit code -1073741819 (0xC0000005)问题
r1152878181的博客
08-01 628
在网上找了很多答案，都不对 网上的答案不要轻易试，要大概判断一下自己的错误，然后在改参数 我的解决方法是：模型的输入数据改成 data = data.cuda() 然后再输入模型，就可以了。
pytorch在win7系统bug解决办法
MessiGodLike的博客
01-13 573
pytorch程序在win7系统每次运行结束后，命令行指示程序仍在运行中，关掉命令行窗口后，任务管理器中python.exe仍然存在，需要手动结束运行，否则下次再运行程序会再出现一个python.exe，占用内存越来越多。 一个更好的办法是在程序末尾加一句自动结束python.exe的语句： import os os.system("taskkill /F /IM python.exe") ...
loss.backward() Segmentation fault 段错误
pprp的博客
11-20 1665
在运行一个非常简单的深度学习程序的时候，发现运行一段时间会报错 段错误 经过定位发现是执行loss.backward()的时候出现的问题，而源码明显是没有什么问题的。 具体排查可以这样： gdb --args python train.py 然后发现这个问题是存在pytorch内部的，而不是自己写的逻辑有问题。注：这个torch版本是1.8.0, 执行其他程序没有明显报错。 更新到1.10.0版本就可以解决segmentation fault的问题。 ...
pytorch.backward()
01-06
pytorch.backward() 举例上手y=w*x，自动求导 import torch from torch.autograd import Variable x=Variable(torch.Tensor([2])) y=Variable(torch.Tensor([10])) w = Variable(torch.randn(1),requires_grad = ...
pytorch的梯度计算以及backward方法详解
09-18
在PyTorch中，理解和掌握梯度计算及`backward`方法是进行深度学习模型训练的关键。本文将深入探讨这两个概念，以及如何在实际操作中应用它们。 首先，我们需要了解PyTorch中的张量（tensors）。张量是PyTorch的基础...
浅谈Pytorch中的自动求导函数backward()所需参数的含义
09-17
在PyTorch中，自动求导机制是深度学习模型训练的核心部分，它允许开发者轻松地计算梯度，进而实现反向传播。`backward()`函数是这一机制的关键接口，用于计算模型参数相对于损失函数的梯度。这篇内容将深入探讨`...
关于pytorch中网络loss传播和参数更新的理解
09-18
通过调用`loss.backward()`，PyTorch会自动计算所有网络参数相对于损失的梯度。这使得我们能够在训练过程中沿着梯度方向调整参数，以减小损失。 在网络参数更新方面，PyTorch提供了一个名为`torch.optim`的模块，该...
lossbackward没有反应，没有任何报错，如何解决？
CHIchiCHI2012的博客
07-15 428
写了一个TOP-N推荐的程序，用变分自编码器对电影和用户分别进行编码和更新，然后点乘计算相似度。当我用torch.nn.functional 预定义的binary_cross_entropy_with_logits作为损失函数时，代码能够正常运行，训练没问题。但是，我用自己定义的BPR损失函数（代码如下）：程序能够计算出损失，但是运行loss_.backward()这一步没有任何反应，就是不动了，也不报错。苦恼了一周了也没有解决，求大佬们指导指导。
关于在循环中backward()的注意事项
HappinessSourceL的博客
12-14 918
trying to backward through the graph a second time (or directly access saved tensors after they have already been freed)
pytorch计算图扩大，反传变慢问题debug
u013517182的博客
06-02 1378
是这样的，我自己写了一个block，这个block的内容如下 # 为了更加集成，给定两个角度，生成compact的倾斜图片 class Compact_Homo(nn.Module): def __init__(self, device): super(Compact_Homo, self).__init__() # 假设内参数K为单位矩阵 ...
python中backward_caffe自定义的python层的backward()函数不执行可能是由什么原因造成的？...
weixin_39957461的博客
12-17 237
class CenterLossLayer(caffe.Layer):def setup(self,bottom,top,num_classes=38,loss_weights=0.001):self.num_classes = num_classesself.label = (bottom[1].data).astype('int64')self.feat_dim = bottom[0].dat...
用PyTorch写的python脚本，程序执行结束后，不自动终止
cxyj666的博客
04-29 1112
问题描述： 用 PyTorch 写的一个python 脚本，脚本内容执行结束后，程序不能正常结束，按Ctrl + C也没用！！（虽然这个bug似乎对实验结果没什么影响，但是，很影响心情有没有，我居然不能控制自己写的代码……） 究竟是哪里出了问题？？ 经过筛查，发现问题是下面这句代码引起的: loss.backward() 如何解决？ 直接删了肯定不行，模型还跑不跑了，一通搜索之后，我似乎找到了解决办法 ：网友解答 附录： 看完上面那个链接内容之后，你大概率会笑喷，或许这就是作为程序员的
Pytorch多次自动求导
程序员小祝的博客
10-13 2165
在Pytorch中，通过调用 backward 我们可以进行一次自动求导，如果我们再调用一次 backward，会发现程序报错，没有办法再做一次。这是因为 PyTorch 默认做完一次自动求导之后，计算图就被丢弃了，所以两次自动求导需要手动设置一个东西，我们通过下面的小例子来说明。 import torch from torch.autograd import Variable ...
pytorch跑神经网络时loss.backward()报错
qq_42773230的博客
08-26 4950
神经网络训练已成为现在潮流，越热门，其中一些细枝末节的东西可能也就越多，当引入一个自己手写的loss时，除了一些基本的条条框框，还要注意一点，loss中涉及到的参数必须与当前模型训练所用的device保持一致，如下，是我在一个GPU的框架下加了一个新loss，而loss中又有自适应的权重参数（torch.Tensor(1)),运行时总是会报错： Function MulBackward0 returned an invalid gradient at index 1 - expected type Tens
Pytorch 逃坑计划之——backward
Chrsitina_S的博客
11-08 433
跳坑一 RuntimeError: Trying to backward through the graph a second time, but the saved intermediate results have already been freed. Specify retain_graph=True when calling .backward() or autograd.grad() the first time. 查阅资料发现是在调用backward时发生的问题，也就是很重要的反向传播计算出错
PyTorch backward数学原理
最新发布
05-01
PyTorch是一个流行的深度学习框架，backward函数是PyTorch中用于计算梯度的关键函数之一。它实现了自动微分的功能，可以根据输入和输出之间的关系自动计算梯度。下面是PyTorch backward数学原理的简要介绍： 在深度学习中，我们通常使用反向传播算法来计算模型参数的梯度。反向传播算法通过链式法则来计算梯度，将输出对参数的梯度传递回输入层。PyTorch中的backward函数就是实现了这个过程。 具体来说，当我们调用backward函数时，它会从计算图的叶子节点（即输入）开始，沿着计算图的边缘向后传播梯度。在每个节点上，它会根据节点的操作和输入的梯度计算出输出的梯度，并将其累积到节点的梯度中。 在计算图中，每个节点都有一个grad_fn属性，它指向创建该节点的操作。当backward函数遍历计算图时，它会根据grad_fn属性找到对应的操作，并调用该操作的反向传播方法来计算梯度。 需要注意的是，只有具有requires_grad属性为True的张量才会被记录在计算图中，并且只有这些张量才能计算梯度。这样设计的目的是为了提高计算效率，避免不必要的计算。 总结一下，PyTorch的backward函数通过遍历计算图并调用每个操作的反向传播方法来计算梯度。它实现了自动微分的功能，使得深度学习模型的训练过程更加方便和高效。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值