PyTorch 入门学习（二）————Autograd：自动微分

https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#sphx-glr-beginner-blitz-autograd-tutorial-py

• 该autograd软件包是PyTorch中所有神经网络的核心。让我们首先简要地访问它，然后我们将去训练我们的第一个神经网络。
• 该autograd软件包可自动区分张量上的所有操作。这是一个按运行定义的框架，这意味着您的backprop是由代码的运行方式定义的，并且每次迭代都可以不同。

张量

• torch.Tensor是程序包的中心类。如果将其属性设置 .requires_grad为True，它将开始跟踪对其的所有操作。完成计算后，您可以调用 .backward() 并自动计算所有梯度。该张量的梯度将累加到 .grad 属性中。
• 要停止张量跟踪历史记录，可以调用 .detach() 将其从计算历史记录中分离出来，并防止跟踪将来的计算。
• 为了防止跟踪历史记录（和使用内存），您还可以将代码块包装在中。这在评估模型时特别有用，因为模型可能具有的可训练参数 ，但我们不需要梯度。with torch.no_grad():requires_grad=True
• 还有一个类对于 autograd 实现非常重要 -a Function
• Tensor 并 Function 相互连接并建立一个无环图，该图对完整的计算历史进行编码。每个张量都有一个 .grad_fn 属性，该属性引用 Function 已创建的 Tensor（用户创建的张量-他们的 除外）。grad_fn is None
• 如果你想计算的衍生品，你可以叫 .backward() 上 Tensor 。如果 Tensor 为标量（即，它包含一个元素数据），则无需为指定参数backward()，但是，如果它具有更多元素，则需要指定gradient 参数为匹配形状的张量。

创建一个张量并设置 requires_grad=True 为跟踪张量

import torch
x = torch.ones(2, 2, requires_grad=True)
print(x)

输出

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)

张量的运算：

y = x + 2
print(y)

输出

tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)

• y是由于操作而创建的，因此具有grad_fn。

print(y.grad_fn)

输出

<AddBackward0 object at 0x7ff480934ba8>

对y进行更多的操作

z = y * y * 3
out = z.mean()

print(z, out)

输出

tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)

• requires_grad如果未给出输入标志，则默认为 Falese
• .requires_grad_( ... ) 可以就地更改现有的 Tensor 的标志

a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)

输出

False
True
<SumBackward0 object at 0x7ff4808ce438>

Gradients(梯度下降)

• 在反向传播中，因为 out 包含单个标量，out.backward()所以等效于out.backward(torch.tensor(1.))

out.backward()

打印 d（out）/dx

print(x.grad)

输出

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

x = torch.randn(3, requires_grad=True)

y = x * 2
while y.data.norm() < 1000:
    y = y * 2

print(y)

输出

tensor([-626.3561, 1018.6344,  249.6874], grad_fn=<MulBackward0>)

现在在这种情况下 y 不再是标量。torch.autograd 不能直接计算完整的雅可比行列式，但是如果我们只想要向量-雅可比积，只需将向量传递给 backward 作为参数：

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)

print(x.grad)

输出

tensor([5.1200e+01, 5.1200e+02, 5.1200e-02])

您还可以.requires_grad=True通过将代码块包装在 with torch.no_grad():

print(x.requires_grad)
print((x ** 2).requires_grad)

with torch.no_grad():
    print((x ** 2).requires_grad)

输出

True
True
False

更多 autograd.Function