One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True

最新推荐文章于 2023-11-21 10:38:43 发布

不当菜鸡的程序媛

最新推荐文章于 2023-11-21 10:38:43 发布

阅读量761

点赞数

文章标签：人工智能深度学习机器学习

使用grad = torch.autograd.grad(loss, self._model.parameters())手动求梯度时，可能遇到该问题:

One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True if this is the desired behavior.

原因是对loss反向求导时，self._model.parameters()中存在没有在链式法则内使用的tensor，也就是说模型中定义了某个layer或者需要求导的tensor，但是loss的计算图里不存在改layer或者该变量，此时需要检查模型代码，删掉改layer或者该变量

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

不当菜鸡的程序媛

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

关于pytorch复现模型的一些报错总结

snow_maple521的博客

03-17

6592

1.RuntimeError: One of the differentiated Tensors does not require grad 关于这个报错的意思是：有一个参数不需要计算导数此torch.autograd.grad函数参数如下：outputs，inputs,函数功能是求outputs关于inputs的导数，此处的inputs需要加requires_grad_()定义： v = Variable(v).to(device).requires_grad_() 2. RuntimeError:

彻底解决：One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=

最新发布

vivi_cin的博客

05-16

1483

上面报错是因为在手动求梯度的时候，网络里面有初始化后的权重，但是没有用到，所以就会显示为：在用该网络得到的loss与输入求Loss的时候就报改错。1. 首先对手动求梯度加上属性：allow_unused=True（这不能解决根本问题，只是为了找到错误）2. 使用key，value来迭代输出model.parameter中的哪个权重层是空tensor即可。几行代码，让你直接找到空的tensor(找到空的权重层)，不用一个一个取分析网络了！对这个报错已经很多次了，可以说是相当熟练了。

参与评论您还未登录，请先登录后发表或查看评论

PyTorch - autograd - One of the differentiated Tensors appears to not have been used in the graph

Zhou_Dao的博客

03-14

9992

参考资料 Example for One of the differentiated Tensors appears to not have been used in the graph - #3 by Sudarshan_VB - autograd - PyTorch Forums allow_unused=True - 知乎 pytorch 踩坑记录_kdh的专栏-CSDN博客 python - Pytorch gradient error: nonetype unsupported opera

【Pytorch坑点集合】

NOVAglow646的博客

10-23

3557

1. One of the differentiated Tensors appears to not have been used in the graph解决办法

Traceback (most recent call last): File "C:/Users/15827/AppData/Roaming/JetBrains/PyCharmCE2022.1/scratches/scratch.py", line 82, in <module> u_x_0 = torch.autograd.grad(net_bc_right, pt_x_0, grad_outputs=torch.ones_like(net_bc_right), File "C:\Users\15827\anaconda3\envs\pytorch\lib\site-packages\torch\autograd\__init__.py", line 276, in grad return Variable._execution_engine.run_backward( # Calls into the C++ engine to run the backward pass RuntimeError: One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True if this is the desired behavior.什么意思

06-02

这个错误是由于反向传播时...解决办法是将 `allow_unused` 参数设置为 `True`，但是这可能会影响到模型的正确性，所以需要谨慎使用。可以检查代码中是否有一些张量没有在计算图中被使用，或者查看计算图是否正确构建。

def calc_gradient_penalty(self, netD, real_data, fake_data): alpha = torch.rand(1, 1) alpha = alpha.expand(real_data.size()) alpha = alpha.cuda() interpolates = alpha * real_data + ((1 - alpha) * fake_data) interpolates = interpolates.cuda() interpolates = Variable(interpolates, requires_grad=True) disc_interpolates, s = netD.forward(interpolates) s = torch.autograd.Variable(torch.tensor(0.0), requires_grad=True).cuda() gradients1 = autograd.grad(outputs=disc_interpolates, inputs=interpolates, grad_outputs=torch.ones(disc_interpolates.size()).cuda(), create_graph=True, retain_graph=True, only_inputs=True, allow_unused=True)[0] gradients2 = autograd.grad(outputs=s, inputs=interpolates, grad_outputs=torch.ones(s.size()).cuda(), create_graph=True, retain_graph=True, only_inputs=True, allow_unused=True)[0] gradient_penalty = (((gradients1.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA) + \ (((gradients2.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA) return gradient_penalty，上述代码中(((gradients2.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA)提示出现错误：RuntimeError: One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True if this is the desired behavior.

05-24

根据错误提示建议你设置 allow_unused=True，这样可以忽略未使用的张量而不报错。你可以这样修改代码： ``` gradients2 = autograd.grad(outputs=s, inputs=interpolates, grad_outputs=torch.ones(s.size()).cuda...

def calc_gradient_penalty(self, netD, real_data, fake_data): alpha = torch.rand(1, 1) alpha = alpha.expand(real_data.size()) alpha = alpha.cuda() interpolates = alpha * real_data + ((1 - alpha) * fake_data) interpolates = interpolates.cuda() interpolates = Variable(interpolates, requires_grad=True) disc_interpolates, s = netD.forward(interpolates) gradients1 = autograd.grad(outputs=disc_interpolates, inputs=interpolates, grad_outputs=torch.ones(disc_interpolates.size()).cuda(), create_graph=True, retain_graph=True, only_inputs=True)[0] gradients2 = autograd.grad(outputs=s, inputs=interpolates, grad_outputs=torch.ones(s.size()).cuda(), create_graph=True, retain_graph=True, only_inputs=True)[0] gradient_penalty = (((gradients1.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA) + \ (((gradients2.norm(2, dim=1) - 1) ** 2).mean() * self.LAMBDA) return gradient_penalty运行上述代码，出现错误：RuntimeError: One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True if this is the desired behavior.

05-24

这个错误通常是因为在反向传播时，某些变量没有被使用到，但是又没有设置 `allow_unused=True`。你可以尝试在 `grad` 函数中加入 `allow_unused=True` 参数，如下所示： ``` gradients1 = autograd.grad(outputs=...

Pytorch 源码阅读笔记

坩埚上校的博客

07-31

5575

THArgCheck 该函数在 pytorch/aten/src/TH/THGeneral.h.in 中定义

One of the differentiated Tensors does not require grad 怎么改正这个BUG

09-13

要解决“One of the differentiated Tensors does not require grad”这个BUG，可以采取以下步骤来修改代码： 1. 确认错误发生的位置：查找报错信息中指明的具体代码行，确认出现错误的地方。 2. 检查代码逻辑：...

PyTorch模型训练：梯度反向传播错误排除指南

与其临渊羡鱼,不如退而结网

04-04

1831

在梯度反向传播过程中，我们可以通过损失函数来计算每个参数对于最终的损失值的贡献，然后利用链式法则来计算每个参数的梯度。然而，有时候我们会遇到一些梯度反向传播相关的错误，这些错误可能会让我们的模型无法正常训练。这个错误通常会在GPU上训练模型时出现，它的意思是在卷积层反向传播的过程中出现了NaN值（Not a Number）。这个错误通常是在使用GPU训练模型时出现的，它的意思是输入数据在CPU上而不是GPU上。这个错误通常会在计算梯度时出现，它的意思是有一个张量的梯度没有被计算。

pytorch 踩坑记录