pytorch升级打怪（六）

torch.autograd

在训练神经网络时，最常用的算法是反向传播。在该算法中，根据损失函数相对于给定参数的梯度调整参数（模型权重）。

为了计算这些梯度，PyTorch内置了一个名为torch.autograd的分化引擎。它支持任何计算图的梯度自动计算。

考虑最简单的单层神经网络，具有输入x、参数w和b以及一些损失函数。它可以以以下方式在PyTorch中定义：

import torch

x = torch.ones(5)  # input tensor
y = torch.zeros(3)  # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)

张量、函数和计算图

此代码定义了以下计算图：

在这个网络中，w和b是参数，我们需要对其进行优化。因此，我们需要能够计算相对于这些变量的损失函数梯度。为了做到这一点，我们设置了这些张量的requires_grad属性。

您可以在创建张量时设置requires_grad的值，或者稍后使用x.requires_grad_(True)方法。

print(f"Gradient function for z = {z.grad_fn}")
print(f"Gradient function for loss = {loss.grad_fn}")

Gradient function for z = <AddBackward0 object at 0x13d5b0190>
Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward0 object at 0x13d5b0190>

计算梯度

为了优化神经网络中参数的权重，我们需要计算损失函数相对于参数的导数，为了计算这些导数，我们调用loss.backward()，然后从w.grad和b.grad中检索值：

loss.backward()
print(w.grad)
print(b.grad)

tensor([[0.1828, 0.0112, 0.3162],
        [0.1828, 0.0112, 0.3162],
        [0.1828, 0.0112, 0.3162],
        [0.1828, 0.0112, 0.3162],
        [0.1828, 0.0112, 0.3162]])
tensor([0.1828, 0.0112, 0.3162])

我们只能获得计算图的叶节点的grad属性，这些节点的requires_grad属性设置为True。对于我们图表中的所有其他节点，渐变将不可用。
出于性能原因，我们只能在给定的图表上向backward执行一次梯度计算。如果我们需要在同一图上进行几次backward调用，我们需要将retain_graph=True传递给向backward调用。

禁用梯度跟踪

默认情况下，所有具有requires_grad=True张量都在跟踪其计算历史并支持梯度计算。然而，在某些情况下，我们不需要这样做，例如，当我们训练了模型，只想将其应用于一些输入数据时，即我们只想通过网络进行前向计算。我们可以通过用torch.no_grad()块包围我们的计算代码来停止跟踪计算：

z = torch.matmul(x, w)+b
print(z.requires_grad)

with torch.no_grad():
    z = torch.matmul(x, w)+b
print(z.requires_grad)

True
False

另一种实现相同结果的方法是在张量上使用detach()方法：

z = torch.matmul(x, w)+b
z_det = z.detach()
print(z_det.requires_grad)

False

您可能想要禁用梯度跟踪是有原因的：
将神经网络中的一些参数标记为冻结参数。
当你只做正向传递时，为了加快计算速度，因为对不跟踪梯度的张量进行计算会更有效率。