pytorch跑神经网络时loss.backward()报错

最新推荐文章于 2024-07-27 15:05:23 发布

qq_42773230

最新推荐文章于 2024-07-27 15:05:23 发布

阅读量5k

点赞数 4

文章标签：深度学习

本文链接：https://blog.csdn.net/qq_42773230/article/details/108241441

版权

神经网络训练已成为现在潮流，越热门，其中一些细枝末节的东西可能也就越多，当引入一个自己手写的loss时，除了一些基本的条条框框，还要注意一点，loss中涉及到的参数必须与当前模型训练所用的device保持一致，如下，是我在一个GPU的框架下加了一个新loss，而loss中又有自适应的权重参数（torch.Tensor(1)),运行时总是会报错：

Function MulBackward0 returned an invalid gradient at index 1 - expected type TensorOptions(dtype=float, device=cuda:0, layout=Strided, requires_grad=false) but got TensorOptions(dtype=float, device=cpu, layout=Strided, requires_grad=false) (validate_outputs at ..\torch\csrc\autograd\engine.cpp:484)
(no backtrace available)

解决此错误的办法是在我的哪个权重参数torch.Tensor(1)后面加.cuda(),因为默认情况下这个参数是在CPU下的，GPU环境下就报错啦！