【转载+修改】pytorch中backward求梯度方法的具体解析

原则上，pytorch不支持张量对张量的求导，它只支持标量对张量的求导
我们先看标量对张量求导的情况

import torch
x=torch.ones(2,2,requires_grad=True)
print(x)
print(x.grad_fn)

输出，由于x是被直接创建的，也就是说它是一个叶子节点，所以它的grad_fn属性的值为None
tensor([[1., 1.], [1., 1.]], requires_grad=True) None
接下来对叶子节点x进行第一步操作，y=x+2

y=x+2
print(y)
print(y.grad_fn)

输出：这里可以看到y的grad_fn属性变成了AddBackward，所以grad_fn属性记录的是该张量的上一步操作。
te