Function MulBackward0 returned an invalid gradienttorch.FloatTensor but got torch.cuda.FloatTensor

最新推荐文章于 2022-12-03 11:35:16 发布
最新推荐文章于 2022-12-03 11:35:16 发布
阅读量2.1k 收藏 1
点赞数 1
分类专栏： CodesErrors 文章标签： 人工智能 pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46429066/article/details/104684103
版权

关键原因在于在forward过程中，使用的某些变量是torch.Tensor，没有放到cuda上面，使用torchsnooper检查每一个变量的类型，统一格式后就可以解决掉问题。
Some variables initialized in forward were not put deployed on cuda.
详见：https://discuss.pytorch.org/t/runtimeerror-function-addbackward0-returned-an-invalid-gradient-at-index-1-expected-type-torch-floattensor-but-got-torch-cuda-floattensor/48265

m0_46429066
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
usb_windows.rar_AdbWinApi_AdbWinApi.dll_The Returned
09-14
Structure usb_handle describes our connection to the usb device via AdbWinApi.dll. This structure is returned usb_open() routine and is expected in each subsequent call that is accessing the device.
自动微分----pytorch中的梯度运算与反向传播函数(预备知识)
西小庄村高伟 的博客
09-22 1576
torch中的自动微分，requires_grad梯度计算、backward()反向传播函数、detach()分离函数
python中backward函数_Pythorch:运行时错误：函数MulBackward0在索引0处返回了一个无效的渐变，预期类型为torch.cuda.FloatTensor但是得到了火炬。浮雕...
weixin_39537049的博客
02-09 767
我不明白这个错误在告诉我什么。在a different post中，同样的问题也得到了解决，但没有有效的解决办法。在Traceback (most recent call last):File "train.py", line 252, in main()File "train.py", line 231, in maintrain(net, training_dataset, targets, ...
预备知识（3）
qq_58462637的博客
03-12 822
自动求导： 前提：x=torch.arange(4.0) 计算y关于x求导的梯度： 在计算前，要找一个地方来存求出的梯度，用： x.require_grad_(True) #等价于 x=torch.arange(4.0,require) , 梯度一开始默认为None 计算： y = 2 * torch.dot(x, x) y 得： tensor(28., grad_fn=<MulBackward0>) 接下来，我们通过调用反向传播函数来自动计算y关于x每个分量的梯度，并
pytorch自动微分，反向传播（一）
m0_55281984的博客
08-19 512
1.张量计算补充 2.计算图（Computational Graph） Pytorch中autograd的底层采用了计算图，计算图是一种有向无环图（DAG），用于记录算子与变量之间的关系。 下图为z=wx+b的计算图 图片源自：深度学习框架pytorch入门与实践，陈云著 基本概念：叶子节点（leaf node）即输入的变量 中间节点例如：z 输出节点如：y grad属性用于储存节点tensor的微分值 grad_fn属性用于储存tensor的微分函数，又称反向传播函数 例如下面代码中示意的mulba
【笔记】Pytorch-backward()
weixin_52238310的博客
12-03 1406
Pytorch 神经网络搭建学习 持续更新中！！！
Android Studio快捷键生成TAG、Log.x日志输出介绍
08-19
Log.d(TAG, "onCreate() returned: " + result); ``` 查看日志输出时，Android Studio提供了`Logcat`工具窗口。在运行或调试应用时，可以在底部的工具栏找到Logcat选项卡。在这里，可以根据日志的级别来过滤输出，...
mga_drv.rar_The Returned
09-23
标题 "mga_drv.rar_The Returned" 暗示我们关注的是一个与图形处理相关的驱动程序，特别是针对MGA（可能是指Matrox G450）显卡的驱动。描述中提到，如果设备是PCI G450，函数将返回0，否则返回2。这表明在驱动程序中...
pci-swiotlb.rar_The Returned
09-24
标题中的"pci-swiotlb.rar_The_Returned"暗示了我们正在处理与PCI（Peripheral Component Interconnect）总线相关的软件I/O页表别名（Software I/O Translation Lookaside Buffer）的更新或修复工作，其中"The_...
mdesc.rar_The Returned
09-23
Machine description operations are to be surrounded by grab and release calls. The mdesc_handle returned the grab is the first argument to all of the operational calls that work on mdescs.
动手学深度学习代码笔记
scar2016的博客
08-26 488
文章目录标量对向量的求导 标量对向量的求导 y=2xTxy=2x^Txy=2xTx关于 向量的 x 求导 输入： x = torch.arange(4.0,requires_grad=True) #创建向量x，并且令 x 保存导数 y = 2*torch.dot(x,x) # y=2x^Tx y.backward() # 反向求导y,即求出 y 关于 x 的导数并令 x为你定义的值(x=0,1,2,3) x.grad # 求出导数 x.grad == 4*x # 判断导数是否为 (y'=4x);
pytorch
m0_50837237的博客
10-17 589
pytorch基础 1. Tensor数据类型 创建tensor时，默认类型为torch.FloatTensor（32位浮点） a = torch.Tensor(2,2) tensor数据类型的转换： 1. b = a.double() 2. c = a.type(torch.DoubleTensor) #DoubleTensor64位浮点 3. d = a.type_as(b) #使d与b类型一致 2. tensor的创建与维度查看 2.1 tensor的创建 a = torch.Tens
RuntimeError:Function MulBackward0 returned an invalid gradient at index 0
m0_46429066的博客
03-05 5062
问题：RuntimeError:Function MulBackward0 returned an invalid gradient at index 0 - expected type torch.FloatTensorbut got torch.cuda.FloatTensor 解决方法：关键是数据处理过程中格式发生了变化，而且找到开始变化的地方很麻烦，如果用print去看，很费时间，所以借用...
PyTorch基础教程学习笔记（二）：自动微分
qq_38156104的博客
07-31 821
autograd 包是 PyTorch 中所有神经网络的核心，为 Tensors 上的所有操作提供自动微分。它是一个由运行定义的框架，这意味着以代码运行方式定义你的后向传播，并且每次迭代都可以不同。 TENSOR torch.Tensor 是包的核心类。 如果将其属性.requires_grad 设置为 True，则会开始跟踪针对 tensor 的所有操作。 完成计算后，可以调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。 要停止 tensor ...
【问题记录】PyTorch NaN RuntimeError: Function ‘MulBackward0‘ returned nan values in its 0th output. 深度学习
weixin_45565519的博客
10-17 4433
浅浅记录一下炼丹时的bug。正常训练了十几个epoch，后来突然出现NaN错误，没法训练，记录一下炼丹术
【Pytorch】反向传播为NaN报错的排查解决方法，RuntimeError: Function ‘BmmBackward0‘ returned nan values
qq_41682740的博客
08-12 1万+
【Pytorch】反向传播为NaN报错的排查解决方法，RuntimeError: Function 'BmmBackward0' returned nan values
解决PyTorch 出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 问题
热门推荐
andyL_05的博客
08-12 1万+
解决PyTorch 出现RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 问题 在使用pytorch框架训练中，进行loss.backward()一步时可能出现如下的问题： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float,
[Pytorch系列-21]：Pytorch基础 - 全自动链式求导backward
文火冰糖（王文兵）的博客
09-14 1284
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址： 目录 第一章 自动求导的两种方法 1.1 半自动 1.2 全自动 第2章 自动求导的中间过程的拆解 2.1 链式求导的基本原理 2.2 定义支持自动求导的tensor 2.3 定义复合函数 2.4 全自动求导（求梯度） 2.5 指定函数链自动求导 2.6 分解式链式求导 第一章 自动求导的两种方法 Pytorch有两种方式进行自动求导。 1.1 半自动 这种方法，使用tor
Pytorch计算Loss值为Nan的一种情况【exp计算溢出，利用softmax计算的冗余性解决】
PuJiang-的博客
11-17 1万+
一、报错提示 FutureWarning: Non-finite norm encountered in torch.nn.utils.clip_grad_norm_; continuing anyway. Note that the default behavior will change in a future release to error out if a non-finite total norm is encountered. At that point, setting error_if_n
RuntimeError: Function SubBackward0 returned an invalid gradient at index 1 - got [768, 9, 32] but expected shape compatible with [5, 32]
最新发布
05-10
例如，使用torch.squeeze()函数时未正确指定维度，或者使用了错误的维度进行矩阵乘法等操作。 2. 检查代码中的输入张量形状是否正确。如果你使用的是预训练模型，那么输入张量的形状应该与该模型的输入形状相同。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值