Pytorch官方文档练习之自动微分

Tensor是PyTorch实现多维数组计算和自动微分的关键数据结构。一方面，它类似于numpy的ndarray，用户可以对Tensor进行各种数学运算；另一方面，当设置.requires_grad = True之后，在其上进行的各种操作就会被记录下来，用于后续的梯度计算，其内部实现机制被成为动态计算图(dynamic computation graph)。
1. requires_grad
如果将tensor属性 .requires_grad 设置为 True，则会开始跟踪针对 tensor 的所有操作。完成计算后，可以调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中，如。

# 创建一个tensor， require_grad=Ture，即开始跟踪tensor的所有操作。默认为False。
x = torch.ones(2, 2, requires_grad=True)
print(x)
# 输出
tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
# 针对tensor x做一个操作
y = x + 2
print(y)
# 输出
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)#
# y 作为操作的结果被创建，所以它有 grad_fn。
print(y.grad_fn)# 每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用。
# 输出
<AddBackward0 object at 0x7fe1db427470>
print(x.grad_fn)# 如果用户自己创建张量，则grad_fn 是 None 。
# 输出
None

针对y做更多的操作

z = y * y * 3
out = z.mean()

print(z, out)
# 输出
tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) # grad_fn储存着其微分方程
tensor(27., grad_fn=<MeanBackward0>)

requires_grad_

a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)# 设置requires_grad_为Ture
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)
# 输出
False# tensor默认不记录求导关系，即requires_grad=False
True
<SumBackward0 object at 0x7fe1db427dd8>

2. 反向传播
调用Tensor.backward()计算导数。
单标量

# 由于out输出只包含一个标量，因此backward()不需要任何参数
out.backward()
# 打印梯度，即d(out)/d(x)
print(x.grad)
# 输出
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

多标量

x = torch.randn(3, requires_grad=True)
y = x * 2
while y.data.norm() < 1000:
    y = y * 2
print(y)
# 输出
tensor([ -444.6791,   762.9810, -1690.0941], grad_fn=<MulBackward0>) 
# 此处输出结果y为一个tensor，含有多个标量。

现在在这种情况下，y 不再是一个标量。torch.autograd 不能够直接计算整个雅可比，但是如果我们只想要雅可比向量积，只需要简单的传递向量给 backward 作为参数。

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)
print(x.grad)
# 输出
tensor([1.0240e+02, 1.0240e+03, 1.0240e-01])

3. 停止求导
通过将代码包裹在 with torch.no_grad()，来停止对从跟踪历史中 的 .requires_grad=True 的张量自动求导。一般运用在测试阶段。

print(x.requires_grad)
print((x ** 2).requires_grad)
with torch.no_grad():
    print((x ** 2).requires_grad)
# 输出
True
True
False

参考
http://pytorch123.com/SecondSection/autograd_automatic_differentiation/
https://www.cnblogs.com/cocode/p/10746347.html