PyTorch自动微分

autograd包是pytorch中所有升级网络的核心。autograd软件包为tensor上的所有操作提供自动微分。它是一个由运行定义的框架，这意味着以代码运行方式定义你的后向传播，并且每次迭代都可以不同。

TENSOR

跟踪

torch.Tensor是包的核心类。如果将其属性.requires_grad设置为True，则会开始跟踪针对tensor的所有操作。完成计算后，可以调用.backward()来自动计算所有梯度。该张量的梯度将累积到.grad属性中。

停止跟踪

要停止tensor历史记录的跟踪，可以调用.detach()，它将其与技术历史记录分离，并防止将来的计算被跟踪。

要停止跟踪历史记录和使用内存，还可以将代码块使用with torch.no_grad():包装起来。在评估模型时，特别有用，因为模型在训练阶段具有requires_grad = True的可训练参数有利于调参，但在评估阶段我们不需要梯度。

FUNCTION

还有一个类对于autograd实现非常重要的，是Function。Tensor和Function互相连接并构建一个非循环图，它保存真个完整的计算过程的历史信息。每个张量都有一个.grad_fn属性保存着创建了张量的Function的引用。如果用户自己创建张量，则grad_fn是None。

如果计算导数，可以调用Tensor.backward()。如果tensor是标量（包含一个元素数据），则不需要制定任何参数backward()，但是如果它有更多的元素，则需要指定一个gradient参数来指定张量的形状。

例子

import torch

创建一个张量，设置requires_grad=True来跟踪与它相关的计算

x = torch.ones(2, 2, requires_grad=True)
print(x)

输出

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)

针对张量做一个操作

y = x + <