RuntimeError: Function CdistBackward returned an invalid gradient

最新推荐文章于 2024-07-04 15:17:55 发布
最新推荐文章于 2024-07-04 15:17:55 发布
阅读量352 收藏
点赞数
分类专栏： 深度学习工具 文章标签： pytorch 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengru120/article/details/120528028
版权
本文探讨了在使用PyTorch计算Loss时遇到的RuntimeError，焦点在于如何正确使用torch.dist或torch.norm代替cdist().sum()，以避免形状不匹配的问题。通过实例说明了正确的计算方法，适合PyTorch初学者和高级用户参考。
摘要由CSDN通过智能技术生成

报错：RuntimeError: Function CdistBackward returned an invalid gradient at index 1 – got [2,7,7] but expected shape compatible with [2, 2048, 7, 7]

原因：调用Pytorch.cdist().sum() 计算Loss是有问题的，

          正确的Lorm范数计算为torch.dist或者torch.norm(x-y)；

Perry 彭儒
关注
专栏目录
Tensorflow开源的object detection API中的源码解析（二）：faster_rcnn_meta_arch.py
王某的博客
12-26 7393
“` “”“Faster R-CNN meta-architecture definition.General tensorflow implementation of Faster R-CNN detection models.这里允许两种模式：first_stage_only = True和first_stage_only = False。 在第一种设置中，所有面向用户的方法（例如：预测，后
虚幻引擎 4 14 版发布
mmqqyyqqyyq的博客
11-10 1056
虚幻引擎 4 14 版发布
多卡训练Runtime Error: Function BroadcastBackward returned an invalid gradient at index XXX
YuhsiHu的博客
11-02 535
代码在单卡训练时没有问题，但是在多卡训练（DP或者DDP模式）时，会在loss.backward()处报错，但是报错并不详细，只停留在loss.backward()，再往后就是pytorch后端C++代码了。可见是反向传播时shape不一致。但是经过检查，我的loss并没有出错，单卡训练测试也没问题，这个就比较棘手了。
解决PyTorch 出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 问题
热门推荐
andyL_05的博客
08-12 1万+
解决PyTorch 出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 问题 在使用pytorch框架训练中，进行loss.backward()一步时可能出现如下的问题： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float,
RuntimeError：Function MmBackward returned an invalid gradient at index，反向传播维度问题
最新发布
m0_46089852的博客
07-04 232
前向传播没问题，反向传播出现维度不匹配
用PyTorch进行训练时报错RuntimeError: Function AddBackward0 returned an invalid gradient at index 1
Willjzq1的博客
06-18 5563
在用Pytorch进行训练的时候，进行loss.backward()一步时可能出现如下的问题：会出现以下错误： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float, device=cuda:0, layout=Strided, requires_grad=false) but got TensorOptions(dtype=f
PyTorch出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1
maum61的专栏
08-04 1053
感谢下面这篇文章，问题解决了： https://blog.csdn.net/andyL_05/article/details/107952479 报错是这样的： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float, device=cuda:0, layout=Strided, requires_grad=false) b
RuntimeError: Function AddmmBackward returned an invalid gradient at index 1 - got [4, 1024] but exp
kuabiku的博客
09-23 1297
今天做图像检测练习的时候报了这个错，反复调整了好几次参数都没用。 后来反应过来，是因为我是直接加载已经训练过的模型，里面的参数数量已经是确定了的，而这个加载的模型和我现在操作的这个模型的输入大小不一样，所以不管怎么改模型内部的参数都没用。只能把输入大小改成之前那个训练过的模型的输入大小。 ...
RuntimeError: Function AddmmBackward returned an invalid gradient at index 1 - got [20, 512] but exp
qq_41821067的博客
12-18 1186
RuntimeError: Function AddmmBackward returned an invalid gradient at index 1 - got [20, 512] but expected shape compatible with [20, 4608] 跟全连接层有关系。 我报错的代码是total_loss.backward()，其中对应的网络最后有一个全连接层 全连接层的代码是 nn.Linear(512, 1) 我将上面的512改为报错的 nn.Linear(4608,
RuntimeError: Function SubBackward0 returned an invalid gradient at index 1 - got [768, 9, 32] but expected shape compatible with [5, 32]
05-10
这个错误通常是由于反向传播时出现了不兼容的张量形状导致的。可能是在计算某个操作的梯度时，输入张量的形状与预期不一致。你可以尝试以下方法解决这个问题： 1. 检查代码中是否有使用不兼容张量的操作。...
Tensorflow中计算图机制和常用函数笔记
Rosun
09-12 1891
0计算图机制程序如下：#basic computational graph import numpy as np np.random.seed(0) import tensorflow as tf N, D =3, 4x=tf.placeholder(tf.float32) y=tf.placeholder(tf.float32) z=tf.placeholder(tf.float32)a=x*y
Vue 过滤器
mqingo的博客
01-03 1680
过滤器: Vue.js 允许你自定义过滤器，**可被用作一些常见的文本格式化**。过滤器可以用在两个地方：**mustache 插值和 v-bind 表达式**。过滤器应该被添加在 JavaScript 表达式的尾部，由“管道”符指示； 03品牌列表的过滤器.html <!DOCTYPE html> <html lang="en"> <head> ...
RuntimeError:Function MulBackward0 returned an invalid gradient at index 0
m0_46429066的博客
03-05 5091
问题：RuntimeError:Function MulBackward0 returned an invalid gradient at index 0 - expected type torch.FloatTensorbut got torch.cuda.FloatTensor 解决方法：关键是数据处理过程中格式发生了变化，而且找到开始变化的地方很麻烦，如果用print去看，很费时间，所以借用...
Pytorch——报错解决：Function MmBackward returned an invalid gradient at index 0 - got [50, 256]
Irving.Gao的博客
09-28 1207
我的错误出现在Transformer模块的Decoder中
Function AddmmBackward returned an invalid gradient at index 1报错解决
小姑仔的博客
11-08 4301
最近在写程序的时候，在损失进行反向传播的时候，出现了这样的一个错误 Function MmBackward returned an invalid gradient at index 0 - got [2400, 150] but expected shape compatible with [2400, 768] 为了排查错误，我们首先使用注释法注释掉网络结构的一些内容，然后再接着跑 （排查是哪一个网络结构出现了问题） output = self.dense(output) output = self.
GaussianEditor：快速可控的三维 GS 场景编辑
m0_51976564的博客
01-23 2869
GaussianEditor：快速可控的三维 GS 场景编辑 GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting
RuntimeError: Function AddmmBackward returned an invalid gradient at index 1
无穷酱的博客
11-16 4695
问题描述： 将ResNet18修改为ResNet101时报告以下错误 RuntimeError: Function AddmmBackward returned an invalid gradient at index 1 -got [64, 4096] but expected shape compatible with [64,17408] 原因： 看了网上的帖子，主要有两方面的原因。 1.由于反向传播时的device不一致问题。训练过程中，前向传播时我们需要模型、输入位于同一设备上（都在
Function AddmmBackward returned an invalid gradient at index 1 - got [5, 256] but expected shape com
qq_41266084的博客
11-14 780
MLP维度错误
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值