b = Variable(torch.FloatTensor([2]),requires_grad = True)
a = b * b
print("a: {}".format(a))
print("b: {}".format(b))
a.backward()
print("b.grad.data: {}".format(b.grad.data))
上面的代码运行没有报错。
b = Variable(torch.FloatTensor([2]),requires_grad = True)
a = b * b
print("a: {}".format(a))
print("b: {}".format(b))
for i in range(2):
a.backward()
print("b.grad.data: {}".format(b.grad.data))
报错:RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify retain_graph=True if you need to backward through the graph a second time or if you need to access saved tensors after calling backward.
pytorch是动态图机制,在训练模型时候,每迭代一次都会构建一个新的计算图(计算图是代表程序中变量之间的关系),为了节约内存,所以每次一轮迭代完也即是进行了一次backward函数计算之后计算图就被在内存释放,所以当计算第二次backward()时,计算图的结构已经被破坏,因此如果需要多次backward时只需要在第一次反向传播时候添加一个retain_graph=True标识,让计算图不被立即释放。
开始认为错误是不能反复对一个数值进行backward,修改代码,不对原变量进行操作
a = a.data #读取a的值
a.backward()
print("b.grad.data: {}".format(b.grad.data))
报错:RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
添加代码:a.requires_grad = True
报错:AttributeError: 'NoneType' object has no attribute 'data'
print(id(a))
a = a.data
print(id(a))
新的a和原来的a已经完全不一样,对新的a进行backward,自动计算所有的梯度, 这个张量的所有梯度将会自动积累到 .grad
属性,而新的a与b之间没有关系,所以b的grad值为空。