RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

b = Variable(torch.FloatTensor([2]),requires_grad = True)
a = b * b
print("a: {}".format(a))
print("b: {}".format(b))

a.backward()
print("b.grad.data: {}".format(b.grad.data))

上面的代码运行没有报错。

b = Variable(torch.FloatTensor([2]),requires_grad = True)
a = b * b
print("a: {}".format(a))
print("b: {}".format(b))

for i in range(2):
    a.backward()
    print("b.grad.data: {}".format(b.grad.data))

报错：RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify retain_graph=True if you need to backward through the graph a second time or if you need to access saved tensors after calling backward.

pytorch是动态图机制，在训练模型时候，每迭代一次都会构建一个新的计算图（计算图是代表程序中变量之间的关系），为了节约内存，所以每次一轮迭代完也即是进行了一次backward函数计算之后计算图就被在内存释放，所以当计算第二次backward()时，计算图的结构已经被破坏，因此如果需要多次backward时只需要在第一次反向传播时候添加一个retain_graph=True标识，让计算图不被立即释放。

开始认为错误是不能反复对一个数值进行backward，修改代码，不对原变量进行操作

a = a.data  #读取a的值
a.backward()
print("b.grad.data: {}".format(b.grad.data))

报错：RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

添加代码：a.requires_grad = True

报错：AttributeError: 'NoneType' object has no attribute 'data'

print(id(a))
a = a.data
print(id(a))

新的a和原来的a已经完全不一样，对新的a进行backward，自动计算所有的梯度， 这个张量的所有梯度将会自动积累到 .grad 属性，而新的a与b之间没有关系，所以b的grad值为空。