lossbackward没有反应，没有任何报错，如何解决？

最新推荐文章于 2024-07-25 23:06:58 发布
最新推荐文章于 2024-07-25 23:06:58 发布
阅读量457 收藏
点赞数
文章标签： 深度学习 人工智能 推荐算法 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CHIchiCHI2012/article/details/131739908
版权

做Top-N推荐，自定义BPR损失函数，lossbackward没有反应，没有任何报错，如何解决？

写了一个TOP-N推荐的程序，用变分自编码器对电影和用户分别进行编码和更新，然后点乘计算相似度。

当我用torch.nn.functional 预定义的binary_cross_entropy_with_logits作为损失函数时，代码能够正常运行，训练没问题。

但是，我用自己定义的BPR损失函数（代码如下）：
在这里插入图片描述
程序能够计算出损失，但是运行loss_.backward()这一步没有任何反应，就是不动了，也不报错。
在这里插入图片描述
在这里插入图片描述

苦恼了一周了也没有解决，求大佬们指导指导

CHIchiCHI2012
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
pytorch loss.backword() 时间太长
咖乐部
02-07 2794
tensor_a = tensor_b.clone().detach()
loss.backward() Segmentation fault 段错误
pprp的博客
11-20 1685
在运行一个非常简单的深度学习程序的时候，发现运行一段时间会报错 段错误 经过定位发现是执行loss.backward()的时候出现的问题，而源码明显是没有什么问题的。 具体排查可以这样： gdb --args python train.py 然后发现这个问题是存在pytorch内部的，而不是自己写的逻辑有问题。注：这个torch版本是1.8.0, 执行其他程序没有明显报错。 更新到1.10.0版本就可以解决segmentation fault的问题。 ...
mmdetection 训练时不显示loss日志
机器视觉爱好者的博客
07-31 4500
直接上图： 看日志文件，只输出到开始训练，显示最大epochs,后面的loss一直没有输出。但实际上训练已经完结。 重点来了： 原因：数据集太小，日志输出的epoch间隔太大，导致没有输出。 解决方案：修改自己的配置文件，将log_config中interval从50调整到5. 结果： ...
python中backward_caffe自定义的python层的backward()函数不执行可能是由什么原因造成的？...
weixin_39957461的博客
12-17 240
class CenterLossLayer(caffe.Layer):def setup(self,bottom,top,num_classes=38,loss_weights=0.001):self.num_classes = num_classesself.label = (bottom[1].data).astype('int64')self.feat_dim = bottom[0].dat...
关于 loss.backward()导致的Process finished with exit code -1073741819 (0xC0000005)问题
r1152878181的博客
08-01 634
在网上找了很多答案，都不对 网上的答案不要轻易试，要大概判断一下自己的错误，然后在改参数 我的解决方法是：模型的输入数据改成 data = data.cuda() 然后再输入模型，就可以了。
关于pytorch的backward()
qq_27095227的博客
08-06 1185
pytorch中的loss.backward()是梯度反传，计算每一个变量的grad。 只是之前在纠结GAN的两个loss什么时候反传，参数什么时候更新的时候，观察到backward()后，内存的存储量下降，原来反传完毕之后，就把中间计算变量都释放了。 所以你重复运行两次loss.backward()会报错： Trying to backward through the graph a second time, but the buffers have already been freed. 当然你可以加
深度学习梯度累积到最后卡住了
小姑仔的博客
02-25 1235
进行到最后 jupyter notebook进度条停住了 最主要的是最后循环退出来的时候需要梯度更新 for batch_ids,batch_token,batch_text,batch_offset,batch_attention_mask,batch_label in tqdm(train_loader): batch_token = batch_token.to(device) batch_attention_mask = batch_a
PyTorch训练LSTM时loss.backward()报错
qq_31375855的博客
07-24 5205
训练用PyTorch编写的LSTM或RNN时，在loss.backward()上报错： RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time. 千万别改成loss.backward(retain_graph=True)，会导致
Pytorch反向传播(loss.backward)报错原因及解决办法
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
02-06 2万+
RuntimeError: grad can be implicitly created only for scalar outputs 错误原因及其解决办法
Pytorch中的backward
兔清风的博客
03-30 1万+
原文：https://sherlockliao.github.io/2017/07/10/backward/接触了PyTorch这么长的时间，也玩了很多PyTorch的骚操作，都特别简单直观地实现了，但是有一个网络训练过程中的操作之前一直没有仔细去考虑过，那就是loss.backward()，看到这个大家一定都很熟悉，loss是网络的损失函数，是一个标量，你可能会说这不就是反向传播吗，有什么好讲的。
关于loss.backward()以及其参数retain_graph的一些坑
热门推荐
漫浸天空的雨色的备忘录~
03-01 5万+
关于loss.backward()以及其参数retain_graph的一些坑 首先，loss.backward()这个函数很简单，就是计算与图中叶子结点有关的当前张量的梯度 使用呢，当然可以直接如下使用 optimizer.zero_grad() 清空过往梯度； loss.backward() 反向传播，计算当前梯度； optimizer.step() 根据梯度更新网...
pytorch:在执行loss.backward()时out of memory报错
DaringTang的博客
05-02 7086
在自己编写SurfNet网络的过程中，出现了这个问题，查阅资料后，将得到的解决方法汇总如下 可试用的方法： reduce batch size, all the way down to 1 remove everything to CPU leaving only the network on the GPU remove validation code, and only executing ...
Pytorch的backward()相关理解
jacke121的专栏
10-10 1万+
Pytorch的backward()相关理解 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/douhaoexia/article/details/78821428 最近一直在用pytorch做GAN相关的实验，pytorch 框架灵活易用，很适合学术界开展研究工作。 这两天遇到了一些模型参数寻优的问题，才发现自己对pytorch的自动求导和...
Pytorch 网络串联中loss.backward的相关问题
qq_43509393的博客
02-24 5511
Pytorch 网络串联中loss.backward的相关问题情况一情况二情况三情况四总结 情况一 情况描述： 两个神经网络net1和net2，net1的输出是net2的输入，并且net1和net2的输出都有truth，我们需要对这两个网络进行训练。 应用背景： End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection中的Cor模块。 相关代码： import torch from torch import nn x = torch.ones
pytorch跑神经网络时loss.backward()报错
qq_42773230的博客
08-26 4964
神经网络训练已成为现在潮流，越热门，其中一些细枝末节的东西可能也就越多，当引入一个自己手写的loss时，除了一些基本的条条框框，还要注意一点，loss中涉及到的参数必须与当前模型训练所用的device保持一致，如下，是我在一个GPU的框架下加了一个新loss，而loss中又有自适应的权重参数（torch.Tensor(1)),运行时总是会报错： Function MulBackward0 returned an invalid gradient at index 1 - expected type Tens
深度学习1-简介
shangjg3的博客
07-25 1172
通过确定这两张真实图像的潜变量，对它们的值进行插值，然后用这些中间变量生成新图像，我们能创造出既视觉上合理，又融合了两张原始图像特征的中间图像。因此，它面临一个选择，是利用已知的策略（沿地面滑行）还是探索其他可能的行动（可能实现更快的移动）。也许代理已经学会了如何获得适度的奖励，它应该继续遵循这个策略（利用现有知识），还是尝试不同的行动以寻找改进的机会（探索新的可能性）？第三，如果我们在两组潜变量之间的映射或潜变量到图像的映射中引入随机性，那么我们可以生成多个都与描述相匹配的图像（见图 1.12）。
深度学习的矩阵计算
最新发布
weixin_45706801的博客
07-25 431
在NumPy中，切片（slicing）是一种选择数组元素子集的方法。切片操作基于索引，但允许你指定一个范围的索引，而不是单个索引。这对于处理多维数组（NumPy中的ndarray对象）特别有用。
在lossbackward处报错RuntimeError: CUDA error： an illegal memory access was encountered
10-21
这个错误通常是由于GPU内存不足或者访问越界导致的。以下是一些可能的解决方案： 1. 确保你的代码在CPU模式下编译通过，避免访问越界等问题。 2. 减小batch size，以减少GPU内存的使用。 3. 尝试在模型训练代码相关位置添加延时函数，如Thread.sleep(毫秒数)或time.sleep(1)，以减缓GPU压力。 4. 减小dataloader里的num_worker数量，以减少GPU内存的使用。 5. 尝试使用半精度浮点数（half-precision floating point）来减少内存使用。 6. 检查你的GPU是否正常工作，例如检查显卡驱动程序是否正确安装。 7. 尝试使用CUDA_LAUNCH_BLOCKING=1来调试错误，以便更好地了解错误的来源。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值