pytorch: 学习笔记3, pytorch求梯度

pytorch求梯度

1, tensor中有 requires_grad 属性，当设置 requires_grad 为True，则会追踪(track)对tonsor的所有操作，之后就可以(利用链式法)调用.backward()来完成所有梯度计算。
requires_grad ①可以在创建tensor时，通过参数设置为True/False；②或者通过 .requires_grad_(True/False)设置
2, 每个Tensor都有一个 .grad_fn 属性，该属性表示此Tensor是不是通过某些运算得到的，若是，则grad_fn返回一个与这些运算相关的对象，否则是None。
如：

# tensor.requires_grad_()来用in-place的方式改变requires_grad属性
a = torch.ones(2, 3) # 缺失情况下默认 requires_grad = False
a = ((a * 3) / (a - 1))
print(a.requires_grad)  # False
print(a.grad_fn)  # None
a.requires_grad_(True)  ## tensor.requires_grad_()来用in-place的方式改变requires_grad属性
print(a.requires_grad) # True
print(a.grad_fn)  # None
b = (a * a).sum()
print(b.grad_fn)  # <SumBackward0 object at 0x00000275DD308FD0>

看一个求梯度的例子：

x = torch.ones(2, 3, requires_grad=True)  # 像x这种直接创建的称为叶子节点，叶子节点对应的grad_fn是None。
y = x + 2
z = y * y * 3
out = z.mean()
print('x:', x, '\nx.grad_fn:', x.grad_fn,
      '\ny:', y, '\ny.grad_fn:', y.grad_fn,
      '\nz:', z, '\nz.grad_fn:', z.grad_fn,
      '\nout:', out, '\nout.grad_fn:', out.grad_fn)
print(x.is_leaf, y.is_leaf)  # True False

out.backward()  #  out反向传播，下一步求out对x的梯度(导数)
print('x.grad: ', x.grad) #注意不是x(x的值还是1)，而是x的梯度，计算的3

out2 = x.sum()  # ∑x
out2.backward()
print('out2, x.grad: ', x.grad)  # x的梯度在计算out反向传播时为3，此时累加1后得4

out3 = x.sum()
x.grad.data.zero_()  #对此前保留的x的梯度清0操作
out3.backward()
print('out3, x.grad: ', x.grad)  # x的梯度已清为0，此时累加1后得1

# x: tensor([[1., 1., 1.],
#         [1., 1., 1.]], requires_grad=True) 
# x.grad_fn: None 
# y: tensor([[3., 3., 3.],
#         [3., 3., 3.]], grad_fn=<AddBackward0>) 
# y.grad_fn: <AddBackward0 object at 0x0000027AE33FAD30> 
# z: tensor([[27., 27., 27.],
#         [27., 27., 27.]], grad_fn=<MulBackward0>) 
# z.grad_fn: <MulBackward0 object at 0x0000027AE55C89B0> 
# out: tensor(27., grad_fn=<MeanBackward0>) 
# out.grad_fn: <MeanBackward0 object at 0x0000027AE3255748>
# True False
# x.grad:  tensor([[3., 3., 3.],
#         [3., 3., 3.]])
# out2, x.grad:  tensor([[4., 4., 4.],
#         [4., 4., 4.]])
# out3, x.grad:  tensor([[1., 1., 1.],
#         [1., 1., 1.]])

out = 1/6 * ∑z = 1/6 * ∑3*[(x+2)**2]，该求和符号应该是表示：只允许标量对张量求导
out对x的导数d(out)/dx
注意：grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需把梯度清零，如out2/out3的求解。

注意：

不允许张量对张量求导，只允许标量对张量求导，求导结果是和自变量同形的张量。所以必要时我们要把张量通过将所有张量的元素加权求和的方式转换为标量。
例：

x = torch.tensor([1.0, 2.0, 3.0, 4.0], requires_grad=True)
y = 2 * x
z = y.view(2, 2)
print(z)  # 现在 z 不是一个标量，所以在调用backward时需要传入一个和z同形的权重向量进行加权求和得到一个标量
v = torch.tensor([[1.0, 1.0], [0.01, 1.0]], dtype=torch.float)
z.backward(v)
print(x.grad)  # dz/dx = d(2x)/dx

# tensor([[2., 4.],
#         [6., 8.]], grad_fn=<ViewBackward>)
# tensor([2.0000, 2.0000, 0.0200, 2.0000])

参考：
https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter02_prerequisite/2.3_autograd
在此基础上略改动测试。