Pytorch实现自动微分

Pytorch实现自动微分

autograd 包是 Pytorch 中所有神经网络的核心，为 Tensors 上的所有操作提供自动微分。它是一个由运行定义的框架，这意味着以代码运行的方式定义你的后向传播，并且每次迭代都可以不同。我们从 tensor 来举一些例子。
torch.Tensor 是包的核心类。如果将其属性 .requires_grad 设置为 True，则会开始跟踪针对 tensor 的所有操作。完成计算后，我们可以调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。要停止 tensor 历史记录的跟踪，可以调用 .detach()，它将其与计算历史记录分离，并防止将来的计算被跟踪。
要停止跟踪历史记录（和使用内存），还可以将代码块使用 with torch.no_grad(): 包装起来。在评估模型时，这是特别有用，因为模型在训练阶段具有 requires_grad = True 的可训练参数有利于调参，但在评估阶段我们不需要梯度。
还有一个类对于 autograd 实现非常重要那就是 Function。Tensor 和 Function 互相连接并构建一个非循环图，它保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用，（如果用户自己创建张量，则 grad_fn 是 None ）。
如果你想计算导数，可以调用 Tensor.backward()。如果 Tensor 是标量（即它包含一个元素数据），则不需要指定任何参数backward()，但是如果它有更多元素，则需要指定一个gradient 参数来指定张量的形状。
接下来我们用个例子来说明：

import torch
#创建一个张量，设置 requires_grad=True 来跟踪与它相关的计算
x = torch.ones(2, 2, requires_grad=True)
print(x)
y=x+2
print(y)
#y作为操作的结果被创建，所以它有 grad_fn
print(y.grad_fn)

z=y*y*3
#计算z的算术平均值
out = z.mean()
print(z,out)
#后向传播，因为输出包含了一个标量，out.backward() 等同于out.backward(torch.tensor(1.))
out.backward()
##打印梯度  d(out)/dx 
print(x.grad)

输出结果为：

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)
<AddBackward0 object at 0x000001CA805CEE80>
tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])