【pytorch坑点】前向传播会不断积累显存占用，直到反向传播才会释放

于 2023-03-14 16:15:31 发布
阅读量585 收藏 1
点赞数
分类专栏： pytorch 文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NOVAglow646/article/details/129531228
版权

如果多次进行forward计算，而不进行backward，那么前向传播时产生的中间结果会一直积累在gpu中。如果你前向计算时并不希望进行反向传播，那么可以采用如下方式：

output_features=torch.utils.checkpoint.checkpoint(model,x.cuda())
NOVAglow646
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch中的自定义反向传播,求导实例
09-18
今天小编就为大家分享一篇pytorch中的自定义反向传播,求导实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
标签传播算法_彻底解决梯度爆炸问题，新方法不用反向传播也能训练ResNet
weixin_39732018的博客
12-01 300
机器之心报道参与：思、一鸣反向传播是深度学习算法中必不可少的组成部分，但是其固有的梯度爆炸(消失)，计算速度慢等问题一直困扰着学界。近日，新西兰维多利亚惠灵顿大学的研究者提出了一种新型的算法，可以让深度学习在不依赖反向传播的情况下进行收敛，彻底解决了梯度爆炸问题。同时，研究者表示，只需要额外训练单层的网络就可以达到图像分类中的 SOTA 性能。论文地址：https://arxiv.org/pdf/...
Pytorch多次自动求导
程序员小祝的博客
10-13 2138
在Pytorch中，通过调用 backward 我们可以进行一次自动求导，如果我们再调用一次 backward，会发现程序报错，没有办法再做一次。这是因为 PyTorch 默认做完一次自动求导之后，计算图就被丢弃了，所以两次自动求导需要手动设置一个东西，我们通过下面的小例子来说明。 import torch from torch.autograd import Variable ...
Pytorch释放显存占用方式
09-18
今天小编就为大家分享一篇Pytorch释放显存占用方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch: 梯度下降及反向传播的实例详解
09-18
今天小编就为大家分享一篇PyTorch: 梯度下降及反向传播的实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch多次求导保留计算图的方法
demonszjin
04-12 3190
通过调用 backward 我们可以进行一次自动求导，如果我们再调用一次 backward，会发现程序报错，没有办法再做一次。这是因为 PyTorch 默认做完一次自动求导之后，计算图就被丢弃了，所以两次自动求导需要手动设置一个东西，我们通过下面的小例子来说明。#保留本次自动求导后的计算图 y.backward(retain_graph=True)...
Pytorch学习笔记（一）
LJR的博客
01-17 999
pytorch学习 张量 Tensor 变量 Variable 计算图 backward 反向传播
pytorch节省显存小技巧
向阳争渡
03-01 4287
使用pytorch进行文本多分类问题时遇到了显存out of memory的情况，实验了多种方法，主要比较有效的有两种： 1、尽可能使用inplace操作，比如relu可以使用inplace=True 进一步将BN归一化和激活层Relu打包成inplace，在BP的时候再重新计算。做一步使用pytorch1.0的checkpoint特性 代码与论文参考 mapillary/inplace_abn ...
《PyTorch深度学习实践》学习笔记：反向传播
lizhuangabby的博客
06-30 597
反向传播
pytorch .detach() .detach_() 和 .data用于切断反向传播的实现
12-23
或者值训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播 1 detach()[source] 返回一个新的Variable，从当前计算图中分离下来的，但是仍指向原...
在pytorch中实现只让指定变量向后传播梯度
09-17
今天小编就为大家分享一篇在pytorch中实现只让指定变量向后传播梯度，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch-BayesianCNN:PyTorch中基于反向传播的贝叶斯贝叶斯变分推理贝叶斯卷积神经网络
05-23
我们介绍了带变分推理的贝叶斯卷积神经网络，这是卷积神经网络（CNN）的一种变体，其中权重的难处理的后验概率分布是由Backprop的Bayes推断的。 我们证明我们提出的变分推断方法是如何实现的性能相当于频率论推理在...
TorchLRP:分层明智相关性传播（LRP）的PyTorch 1.6实施
05-21
PyTorch对线性层和卷积层的一些层明智相关性传播（LRP）规则[1、2、3]的实现。 这些模块装饰了torch.nn.Sequential ， torch.nn.Linear和torch.nn.Conv2d ，以便能够使用autograd算法来计算说明。 安装 要安装需求...
DDG:PyTorch实施“具有收敛保证的解耦并行反向传播”
04-30
该存储库是的论文的PyTorch代码 如有任何疑问或建议，请随时联系 依存关系 Python 3.6.2（Anaconda） PyTorch 0.3.1 CUDA 8.0 跑步 克隆并cd进入repo目录，运行： python main.py ./data/cifar.python --dataset...
pytorch程序异常后删除占用的显存操作
12-23
1-删除模型变量 del model_define 2-清空CUDA cache torch.cuda.empty_cache() 3-步骤2（异步）需要一定时间，设置时延 ... 您可能感兴趣的文章:Pytorch释放显存占用方式解决Pytorch 训练与测试时爆显存
Pytorch反向求导更新网络参数的方法
09-18
今天小编就为大家分享一篇Pytorch反向求导更新网络参数的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
torch_mir_eval:https的反向传播pytorch实现
05-16
torch_mir_eval Pytorch实施 。 Nvidia RTX 3090，ADM Threadripper 1920X单次运行 .bss_eval_sources test>permutation: Falsefloat32 CPU: 3.004torch-CPU: 2.512.bss_eval_sources test>Compute permutation: ...
关于pytorch中网络loss传播和参数更新的理解
09-18
今天小编就为大家分享一篇关于pytorch中网络loss传播和参数更新的理解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch 对应点相乘、矩阵相乘实例
09-18
今天小编就为大家分享一篇PyTorch 对应点相乘、矩阵相乘实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 前向传播
最新发布
08-30
PyTorch中的前向传播是指将输入数据通过神经网络模型，从输入层经过各个隐藏层，最终到达输出层的过程。在PyTorch中，我们可以通过定义一个继承自`torch.nn.Module`的网络类来构建神经网络模型。 在这个网络类中，我们需要实现`forward`方法，该方法会接收输入数据作为参数，并按照网络的结构将其传递到下一层。在`forward`方法中，我们可以使用PyTorch提供的各种层（如全连接层、卷积层等）来定义网络的结构。 以下是一个简单的例子，展示了如何在PyTorch中进行前向传播： ```python import torch import torch.nn as nn class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc1 = nn.Linear(10, 5) self.fc2 = nn.Linear(5, 2) def forward(self, x): x = self.fc1(x) x = torch.relu(x) x = self.fc2(x) return x # 创建一个模型实例 model = MyModel() # 生成随机输入数据 input_data = torch.randn(1, 10) # 将输入数据传递给模型进行前向传播 output = model(input_data) print(output) ``` 在上面的例子中，我们首先定义了一个名为`MyModel`的网络类，其中包含两个全连接层。在`forward`方法中，我们首先将输入数据`x`传递给第一个全连接层`fc1`，然后使用ReLU激活函数作用于输出结果。接着，将激活后的结果传递给第二个全连接层`fc2`，最终得到模型的输出。我们可以通过调用模型实例的方式来进行前向传播，将输入数据传递给模型，得到输出结果。 希望这个例子能帮助你理解PyTorch中的前向传播过程！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值