Pytorch 学习笔记之梯度

x = torch.ones(2, 2, requires_grad=True)
print(x)
print(x.grad_fn)

tensor([[1., 1.],[1., 1.]], requires_grad=True)
None

y = x + 2
print(y)
print(y.grad_fn)

tensor([[3., 3.], [3., 3.]], grad_fn=)
<AddBackward object at 0x1100477b8>
注意x是直接创建的，所以它没有 grad_fn , ⽽y是通过⼀个加法操作创建的，所以它有⼀个为 的 grad_fn 。

z = y * y * 3
out = z.mean()
print(z, out)

tensor([[27., 27.], [27., 27.]], grad_fn=) tensor(27., grad_fn=)
在反向传播求梯度的时候使用backward()函数，注意在 y.backward() 时，如果 y 是标量，则不需要为 backward() 传⼊任何参数；否则，需要传⼊⼀个与 y 同形的 Tensor 。

因为 out 是⼀个标量，所以调⽤ backward() 时不需要指定求导变量：

out.backward() # 等价于 out.backward(torch.tensor(1.))
print(x.grad)

tensor([[4.5000, 4.5000],
[4.5000, 4.5000]])

x = torch.tensor([1.0, 2.0, 3.0, 4.0], requires_grad=True)
y = 2 * x
z = y.view(2, 2)
print(z)

tensor([[2., 4.], [6., 8.]], grad_fn=)
现在 y 不是⼀个标量，所以在调⽤ backward 时需要传⼊⼀个和 y 同形的权᯿向量进⾏加权求和得到⼀个标量。

v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)
print(x.grad)

tensor([2.0000, 0.2000, 0.0200, 0.0020])
假设 y 由 ⾃ 变 量 x 计 算 ⽽ 来 ， w 是 和 y 同 形 的 张 量 ，
则 y.backward(w) 的含义是：先计算 l = torch.sum(y * w) ，则 l 是个标量，然后求 l 对⾃变量 x 的导数。
注意， x.grad 是和 x 同形的张量。

x = torch.ones([2,2],requires_grad=True)
out = x.sum()
out.backward()
print(x.grad)
#梯度累加
out2 = x.sum()
out2.backward()
print(x.grad)
#梯度清零
x.grad.zero_()
out3 = x.sum()
out3.backward()
print(x.grad)

tensor([[1., 1.],
[1., 1.]])
tensor([[2., 2.],
[2., 2.]])
tensor([[1., 1.],
[1., 1.]])
注意：grad在反向传播过程中是累加的(accumulated)，这意味着每⼀次运⾏反向传播，梯度都会累
加之前的梯度，所以⼀般在反向传播之前需把梯度清零。

参考书籍：动⼿学深度学习 PYTORCH 版