RuntimeError：Function MmBackward returned an invalid gradient at index，反向传播维度问题

已于 2024-07-04 15:18:43 修改
阅读量196 收藏
点赞数 4
文章标签： pycharm
于 2024-07-04 15:17:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46089852/article/details/140180312
版权

前向传播没问题，反向传播出现问题解决

RuntimeError: Function MmBackward returned an invalid gradient at index 0 - got [406,32] but expected shape compatible with [406, 132]
1.这个问题是在定义的时候出错
比如代码
self.pro_fc = nn.Linear(32, 128) 这是错误的
改成 self.fc = nn.Linear(132, 128)
着重检查，去搜所一下32定位检查一下！！！

2.要么就是参数不在一个设备上（概率不大）

在这里插入图片描述

Trad99
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python RuntimeError: thread.__init__() not called解决方法
09-22
然而，在使用`threading.Thread`进行多线程编程时，可能会遇到`RuntimeError: thread.__init__() not called`这样的错误。这个错误通常意味着你没有正确地初始化`threading.Thread`的实例。 在标题和描述中提到的...
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
RuntimeError: Function MmBackward returned an invalid gradient at index 0 - got [5, 2048] but expect
taxuewuhenxiaoer
08-12 5390
RuntimeError: Function MmBackward returned an invalid gradient at index 0 - got [5, 2048] but expected shape compatible with [5, 4096] 这个问题是在定义的时候出错 比如代码 self.fc = nn.Linear(2048, 2048) 这是错误的 改成 self.fc = nn.Linear(4096, 2048) ...
RuntimeError: Function MmBackward returned an invalid gradient at index 0 - got [1984, 64] but expec
qq_43391414的博客
08-29 1716
这个据我观察，一般都是linear层的输入输出维度写错了，然后反向传播的时候出现了问题（我自己是这样，然后网上找了另外一个人的答案也是这样）。到底是哪里输入输出维度写错了呢？你找下维度为64的linear层，检查一下就行了，好像只能挨个检查，因为报错信息就这么多。别问我为什么维度写错了，竟然还能前向传播，其实我也纳闷，按照道理矩阵相乘维度不匹配，不应该直接报错吗？有谁知道了评论区踢我一下，我把我的错误线性层代码贴在下面。
RuntimeError:Function MulBackward0 returned an invalid gradient at index 0
m0_46429066的博客
03-05 5076
问题：RuntimeError:Function MulBackward0 returned an invalid gradient at index 0 - expected type torch.FloatTensorbut got torch.cuda.FloatTensor 解决方法：关键是数据处理过程中格式发生了变化，而且找到开始变化的地方很麻烦，如果用print去看，很费时间，所以借用...
Pytorch——报错解决：Function MmBackward returned an invalid gradient at index 0 - got [50, 256]
Irving.Gao的博客
09-28 1171
我的错误出现在Transformer模块的Decoder中
解决PyTorch 出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 问题
热门推荐
andyL_05的博客
08-12 1万+
解决PyTorch 出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 问题 在使用pytorch框架训练中，进行loss.backward()一步时可能出现如下的问题： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float,
PyTorch出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1
maum61的专栏
08-04 1046
感谢下面这篇文章，问题解决了： https://blog.csdn.net/andyL_05/article/details/107952479 报错是这样的： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float, device=cuda:0, layout=Strided, requires_grad=false) b
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
RuntimeError: Cannot run the event loop while another loop is running(目前没有解决)
12-21
在Python的Tornado框架中，`RuntimeError: Cannot run the event loop while another loop is running` 是一个常见的错误，它表明你的代码试图在一个已经运行中的事件循环（Event Loop）内启动另一个事件循环。...
GaussianEditor：快速可控的三维 GS 场景编辑
最新发布
m0_51976564的博客
01-23 2568
GaussianEditor：快速可控的三维 GS 场景编辑 GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting
用PyTorch进行训练时报错RuntimeError: Function AddBackward0 returned an invalid gradient at index 1
Willjzq1的博客
06-18 5494
在用Pytorch进行训练的时候，进行loss.backward()一步时可能出现如下的问题：会出现以下错误： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float, device=cuda:0, layout=Strided, requires_grad=false) but got TensorOptions(dtype=f
RuntimeError: Function AddmmBackward returned an invalid gradient at index 1 -got [64, 256] but expe
CRDarwin的博客
09-25 8060
问题描述：在对loss反向求导的时候报错：RuntimeError: Function AddmmBackward returned an invalid gradient at index 1 -got [64, 256] but expected shape compatible with [64, 2048] 心路历程：首先找度娘，搜索报错内容你应该会看到很多像这样的内容：“RuntimeError: Function AddBackward0 returned an invalid gradient
多卡训练Runtime Error: Function BroadcastBackward returned an invalid gradient at index XXX
YuhsiHu的博客
11-02 484
代码在单卡训练时没有问题，但是在多卡训练（DP或者DDP模式）时，会在loss.backward()处报错，但是报错并不详细，只停留在loss.backward()，再往后就是pytorch后端C++代码了。可见是反向传播时shape不一致。但是经过检查，我的loss并没有出错，单卡训练测试也没问题，这个就比较棘手了。
本周的一些错误记录
艾米栗的代码天地
09-13 3415
不知道是自己不太懂得搜索还是知识积累的太少，遇到很多问题都不能很好的解决。 而且网上的一些解决办法也真的是bull shit。。。。。 关于变量类型不一致的问题 RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type torch.FloatTensor...
RuntimeError: Function CdistBackward returned an invalid gradient
mmmmmm儒丶的博客
09-28 347
原因：调用Pytorch.cdist().sum() 计算Loss有问题 ， 正确的Lorm计算为torch.dist或者torch.norm(x-y)；
RuntimeError: function ALSQPlusBackward returned a gradient different than None at position 3, but t
邹九的个人博客
11-15 1091
class ALSQPlus(Function): @staticmethod def forward(ctx, weight, alpha, g, Qn, Qp, per_channel, beta): # assert alpha > 0, "alpha={}".format(alpha) ctx.save_for_backward(weight, alpha, beta) ctx.other = g, Qn, Qp, per_ch.
RuntimeError: Function AddmmBackward returned an invalid gradient at index 1
无穷酱的博客
11-16 4669
问题描述： 将ResNet18修改为ResNet101时报告以下错误 RuntimeError: Function AddmmBackward returned an invalid gradient at index 1 -got [64, 4096] but expected shape compatible with [64,17408] 原因： 看了网上的帖子，主要有两方面的原因。 1.由于反向传播时的device不一致问题。训练过程中，前向传播时我们需要模型、输入位于同一设备上（都在
RuntimeError: Function SubBackward0 returned an invalid gradient at index 1 - got [768, 9, 32] but expected shape compatible with [5, 32]
05-10
这个错误通常是由于反向传播时出现了不兼容的张量形状导致的。可能是在计算某个操作的梯度时，输入张量的形状与预期不一致。你可以尝试以下方法解决这个问题： 1. 检查代码中是否有使用不兼容张量的操作。例如，使用torch.squeeze()函数时未正确指定维度，或者使用了错误的维度进行矩阵乘法等操作。 2. 检查代码中的输入张量形状是否正确。如果你使用的是预训练模型，那么输入张量的形状应该与该模型的输入形状相同。 3. 检查你的损失函数是否正确。如果你的损失函数与模型输出的形状不兼容，那么就会出现这种错误。 4. 尝试使用更小的批次大小运行代码。有时候这个问题是由于批次大小太大导致的。 如果你仍然无法解决这个问题，我建议你将更多的代码和错误信息提供给我，这样我可以更好地帮助你解决问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值