pytorch的坑---loss没写好，现存爆炸

最新推荐文章于 2024-05-22 21:49:52 发布
最新推荐文章于 2024-05-22 21:49:52 发布
阅读量1.5w 收藏 26
点赞数 6
作者：陈诚
链接：https://www.zhihu.com/question/67209417/answer/344752405
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

算是动态图的一个坑吧。记录loss信息的时候直接使用了输出的Variable。

应该不止我经历过这个吧...

久久不用又会不小心掉到这个坑里去...

for data, label in trainloader:
    ......
    out = model(data)
    loss = criterion(out, label)
    loss_sum += loss     # <--- 这里
    ......

运行着就发现显存炸了

观察了一下发现随着每个batch显存消耗在不断增大..

参考了别人的代码发现那句loss一般是这样写 /(ㄒoㄒ)/~~

loss_sum += loss.data[0]

这是因为输出的loss的数据类型是Variable。

而PyTorch的动态图机制就是通过Variable来构建图。主要是使用Variable计算的时候，会记录下新产生的Variable的运算符号，在反向传播求导的时候进行使用。

如果这里直接将loss加起来，系统会认为这里也是计算图的一部分，也就是说网络会一直延伸变大~那么消耗的显存也就越来越大~~

总之使用Variable的数据时候要非常小心。不是必要的话尽量使用Tensor来进行计算...

包括数据的输入时候，如果“过早”把数据丢到Variable里面去，那么可能也会被系统视为网络的一部分。所以，要投入的时候再把数据丢到Variable里面去吧~

qq_27292549
关注
  • 6
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
pytorch快速上手之二_排除计算图
IMchg的博客
12-11 1072
GPU确实快，但是显存太小不够跑别人的代码时，可以把一些操作简化。如：原模型中使用了预训练模型Bert，且对Bert微调，如果实在跑不动，可以改为不微调Bert，先跑起来再说。 with torch.no_grad()的作用：节省内存 https://www.jianshu.com/p/1cea017f5d11 https://blog.csdn.net/weixin_43178406/article/details/89517008 补充说明： 什么样的tensor可以调用backward()方法【即.
训练时第二个step loss特别大_pytorch中optimizer对loss的影响
weixin_39599654的博客
11-21 510
神经网络优化器的作用是为了优化神经网络，从而加速训练网络。pytorch中的optimizer包含好几个常用的分类器。这些分类器的原理各有差异，比如学习率，权重衰减等方面。这里分析不同分类器对于反向传播后的loss值的影响，通常loss值在多次反向传播后越小那么模型预测的准确率会越高，下面就直接通过代码来分析。编译环境：anaconda、pytorch1、读取数据集并构建模型import 模型训练...
pytorch 网络中 loss function 返回值的讨论
tangweirensheng的博客
09-15 1192
optimizer=torch.optim.Adam(net.parameters(), lr=LR) loss_func=torch.nn.MSELoss() 一直对loss_func函数返回值好奇，想看一下到底返回的loss到底是什么 print之后发现 loss_func返回的 loss除了张量数据之外，还有grad_fn=<MseLossBackward> grad_fn是表示用于计算梯度的函数 loss.data表示返回的 loss tensor data ...
loss，loss.cpu().data 及 loss.cpu().detach().numpy()等辨析
热门推荐
是鲤鱼啊
06-04 2万+
print('1111',loss) print('2222',loss.data)#tensor且GPU print('3333',loss.cpu()) print('4444',loss.cpu().data)#tensor且CPU # print('5555',loss.cpu().data[0])#报错 IndexError: invalid index of a 0-dim tens...
Pytorch框架下的Triplet Loss（包含训练流程）
最新发布
m0_73745065的博客
05-22 527
最近机器学习的课程中接触到了图像检索任务，也顺便了解到了Triplet Loss，网上有很多关于理论的介绍，这里就不多赘述了，本篇着重关注当我们应用到Triplet形式的数据时，如何对数据进行封装，训练。本篇以CIFAR-10的图像检索实验为例，使用Triplet Loss微调ResNet18。（由于对这个领域接触较少，有错误的地方烦请大佬们指正）。博主对比了应用Triplet Loss微调ResNet的方法与直接调用预训练ResNet的方法，微调后的模型训练出来的特征更容易寻找到相关图片。
解决pytorch 交叉熵损失输出为负数的问题
09-16
主要介绍了解决pytorch 交叉熵损失输出为负数的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决Pytorch训练过程中loss不下降的问题
09-18
今天小编就为大家分享一篇解决Pytorch训练过程中loss不下降的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch堆叠多个损失造成内存爆炸
qq_42018521的博客
07-08 576
pytorch代码oom（out of memory）问题
Pytorch自定义网络结构+读取自己数据+自定义Loss 全过程代码示例
qq_35608277的博客
01-18 1702
https://blog.csdn.net/yutingzhaomeng/article/details/80454807
pytorch损失一点都不变的问题
comeonow的博客
03-22 2620
背景： 1、自己实现了U-net，能正常运行 2、我自己改写了module文件，梯度不变 3、我把它的module文件粘了进去，梯度不变 4、直接运行它的程序，能正常运行 5、我改写的时候，用了它的一个写法：每次有新的操作结果时，都用同一个变量存，比如out=conv2d(out)。我自己的那个U-net老老实实地用不同的变量存每一个操作结果。 6、我发现在train文件里，它的输入外面套了个torch.autograd.Variable(x_batch),然后才调用model(x_batch)，不知道是不
loss.data[0] 报错invalid index of a 0-dim tensor. Use `tensor.item()` in Python or `tensor.item＜T＞()`
will599的博客
01-21 1364
刚开始学pytorch 源码 for e in range(1000): out = logistic_regression(Variable(x)) loss = criterion(out, Variable(y)) optimizer.zero_grad() loss.backward() optimizer.step() if (e + 1) % 20 == 0: print('epoch: {}, loss: {}'.format(e + 1, loss.dat
torch遇到的一系列问题
qq_41897073的博客
05-31 628
torch遇到的问题
pytorch训练过程显存爆炸，随着epoch增加不断增加
RAGERAGE_的博客
11-30 973
原来我在反向传播完后会累加loss，以计算平均损失打印出来并写入tensorboard，而我在累加loss时用的是loss_epoch += loss ，此时loss会被放入计算图中一起保存，实际上除了反向传播以外，我的loss只是要那个数值而已。在训练时，明明前几个epoch都能正常跑，但是到了某一个epoch突然给我报显存不够了。我寻思你跑完epoch难道不释放显存的吗，为啥epoch和epoch之间的差距还这么大？经过多方查询，多种方法的尝试，最终定位到loss的计算上。
PyTorch踩坑记录
XerCis的博客
10-08 925
BrokenPipeError: [Errno 32] Broken pipe 将num_workers改为0 IndexError: invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python 将loss.data[0]改为loss.item() ...
学习记录
Javier9201的博客
09-04 137
在学习浏览网页test过程中遇到的一些需要研究一下才能看懂的函数，在这里做一下记录，供以后翻看学习 1. maximum() 1 import numpy as np 2 N, D_in, H, D_out = 64, 1000, 100, 10 3 x = np.random.randn(N, D_in) # (64, 1000) 4 y = np.rand...
pytorch训练 loss=inf或者训练过程中loss=Nan
wilbur520的博客
03-30 7646
造成 loss=inf的原因之一：data underflow 最近在测试Giou的测试效果，在mobilenetssd上面测试Giou loss相对smoothl1的效果； 改完后训练出现loss=inf 原因: 在使用log函数时出现 data underflow 解决方法：增加一个bias 原代码 # match wh / prior wh g_wh = (matched[:, 2:] - matched[:, :2]) / priors[:, 2:] g_wh = torc
pytorch模型训练时出现loss=inf现象
weixin_44295084的博客
06-08 885
参看了一些博主写的文章，开始以为是学习率的问题，将学习率改为0，还是INF，由此可知不是学习率问题。 之后注意到在自己构造的loss中用到了log，所以在log（*）括号中添加了一个bias，取值为1e-5，就解决了。 参考： https://blog.csdn.net/wilbur520/article/details/115335402 https://wenku.baidu.com/view/323cede25bf5f61fb7360b4c2e3f5727a5e924aa.html...
几种分割loss
hxshine的博客
04-13 1万+
1 2d交叉熵（mutil class 分割） 定义 def cross_entropy2d(input, target, weight=None, size_average=True): # input: (n, c, h, w), target: (n, h, w) n, c, h, w = input.size() # log_p: (n, c, h, w) ...
pytorch---情感分析
06-07
Pytorch是一种基于Python语言的开源机器学习框架，它能够帮助我们快速构建和训练深度学习模型。对于情感分析任务，Pytorch也提供了相应的库和工具，可以帮助我们快速搭建和训练情感分析模型。 常用的情感分析模型包括基于卷积神经网络（CNN）的模型和基于循环神经网络（RNN）的模型，它们都可以使用Pytorch来实现。此外，Pytorch还提供了一些预训练好的情感分析模型，比如BERT、XLNet等，可以直接拿来进行情感分析任务。 在使用Pytorch进行情感分析时，我们需要准备好相应的数据集，并根据数据集的特点和任务需求来选择合适的模型和优化算法。接着，我们可以使用Pytorch提供的API来构建和训练模型，同时使用一些常见的技巧，比如学习率调整、正则化、Dropout等，来提高模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值