PyTorch - autograd - One of the differentiated Tensors appears to not have been used in the graph

最新推荐文章于 2024-05-16 01:25:49 发布

如果曾经拥有

最新推荐文章于 2024-05-16 01:25:49 发布

阅读量8.9k

点赞数 14

分类专栏： pytorch 文章标签： pytorch

版权

5 篇文章 0 订阅

订阅专栏

参考资料

计算梯度时，报错。产生原因是，input 和 output可能不是直接关系，即，两个无关的变量自然没有办法求导。

比如有两个计算图，x->y->z 和 y->m, 那么可以求z到x的梯度，但是你求不到 z 到 m的梯度。

a = torch.rand(10, requires_grad=True)
b = torch.rand(10, requires_grad=True)

output = (2 * a).sum()

torch.autograd.grad(output, (a, b))

if b is not in the graph then the derivative is just 0 everywhere. You don’t need to add it to the graph to get the derivatives.

output is not a function of b.

网上有不少建议是，设置 allow_unused=True，这个往往无法解决问题。得到的结果会出现一个None，raise新的error如下

TypeError: unsupported operand type(s) for *: 'float' and 'NoneType'

靠谱的解决方法是，重新梳理一下，torch.autograd.grad的两个variables的计算图关系。

调整合适的variable or tensor，把output 和 x 的函数关系弄对即可。

grad = torch.autograd.grad(output, x)

关注