PyTorch翻译官网教程6-AUTOMATIC DIFFERENTIATION WITH TORCH.AUTOGRAD

最新推荐文章于 2024-10-05 12:00:56 发布

poorCoder_

最新推荐文章于 2024-10-05 12:00:56 发布

阅读量915

点赞数

分类专栏：深度学习文章标签： pytorch 人工智能 python

本文链接：https://blog.csdn.net/poorCoder_/article/details/131737079

版权

深度学习专栏收录该内容

16 篇文章 0 订阅

订阅专栏

文章介绍了如何在PyTorch中利用torch.autograd模块进行自动微分，这个功能在训练神经网络时用于计算损失函数相对于模型参数的梯度。通过设置张量的requires_grad属性，可以构建计算图并在loss.backward()调用后获取梯度。此外，还提到了如何禁用梯度跟踪以提高效率或在仅需前向传播的场景下使用。

摘要由CSDN通过智能技术生成

官网链接

Automatic Differentiation with torch.autograd — PyTorch Tutorials 2.0.1+cu117 documentation

使用TORCH.AUTOGRAD 自动微分

当训练神经网络时，最常用的算法是方向传播算法。在该算法中，根据损失函数与给定参数的梯度来调整模型参数（权重）。

为了计算这些梯度，PyTorch有一个内置的微分引擎，名为torch.autograd。它支持任何计算图的梯度自动计算。

考虑最简单的单层神经网络，输入x，参数w和b，以及一些损失函数。它可以在PyTorch中以以下方式定义:

import torch

x = torch.ones(5)  # input tensor
y = torch.zeros(3)  # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)

张量、函数与计算图

这段代码定义了以下计算图:

在这个网络中，w和b是我们需要优化的参数。因此，我们需要能够计算损失函数相对于这些变量的梯度。为了做到这一点，我们设置了这些张量的requires_grad属性。

注意：

您可以在创建张量时设置requires_grad的值，或者稍后使用x.requires_grad_(True)方法设置。

我们使用张量来构造计算图的函数实际上是Function类的对象，该对象知道如何在正向方向上计算函数，以及如何在反向传播步骤中计算其导数。反向传播函数的引用存储在张量的grad_fn 属性中，你可以在文档中找到Function 的更多信息。Automatic differentiation package - torch.autograd — PyTorch 2.0 documentation

print(f"Gradient function for z = {z.grad_fn}")
print(f"Gradient function for loss = {loss.grad_fn}")

输出

Gradient function for z = <AddBackward0 object at 0x114113f70>
Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward0 object at 0x114113f70>

计算梯度

为了优化神经网络中参数的权重，我们需要计算损失函数对于参数的导数，即我们需要 $\frac{∂loss}{∂w}$ 和 $\frac{∂loss}{∂b}$ 在x和y的固定值下。为了计算这些导数，我们调用loss.backward()，然后从w.grad和b.grad中检索值:

loss.backward()
print(w.grad)
print(b.grad)

输出

tensor([[0.3313, 0.0626, 0.2530],
        [0.3313, 0.0626, 0.2530],
        [0.3313, 0.0626, 0.2530],
        [0.3313, 0.0626, 0.2530],
        [0.3313, 0.0626, 0.2530]])
tensor([0.3313, 0.0626, 0.2530])

注意

我们只能获得计算图的叶子节点的grad属性，当它的requires_grad属性设置为True时。对于图中的所有其他节点，梯度将不可用。
出于性能原因，我们只能在给定的图上使用一次backward梯度计算。如果需要对同一个图进行多次backward调用，则需要将retain_graph=True 传递给backward调用。

禁用梯度跟踪

默认情况下，所有的requires_grad=True 的张量会自动跟踪它们的计算历史并支持梯度计算。然而，在一些情况下我们不需要这样做，例如，当我们完成了模型的训练，只想将其应用于一些测试数据时，即我们只想通过网络进行前向计算。我们可以通过使用torch.no_grad() 块包围我们的计算代码来停止跟踪计算:

z = torch.matmul(x, w)+b
print(z.requires_grad)

with torch.no_grad():
    z = torch.matmul(x, w)+b
print(z.requires_grad)

输出

True
False

实现相同结果的另一种方法是在张量上使用detach() 方法:

z = torch.matmul(x, w)+b
z_det = z.detach()
print(z_det.requires_grad)

输出

False

你可能想要禁用梯度跟踪的原因如下：

将神经网络中的一些参数标记为冻结参数。
当你只做正向传递时，为了加快计算速度，在不跟踪梯度的张量上的计算会更有效率。

更多关于计算图的知识

从概念上讲，autograd在由Function 的大小应该等于原始张量的大小，为了计算其乘积。

inp = torch.eye(4, 5, requires_grad=True)
out = (inp+1).pow(2).t()
out.backward(torch.ones_like(out), retain_graph=True)
print(f"First call\n{inp.grad}")
out.backward(torch.ones_like(out), retain_graph=True)
print(f"\nSecond call\n{inp.grad}")
inp.grad.zero_()
out.backward(torch.ones_like(out), retain_graph=True)
print(f"\nCall after zeroing gradients\n{inp.grad}")

输出

First call
tensor([[4., 2., 2., 2., 2.],
        [2., 4., 2., 2., 2.],
        [2., 2., 4., 2., 2.],
        [2., 2., 2., 4., 2.]])

Second call
tensor([[8., 4., 4., 4., 4.],
        [4., 8., 4., 4., 4.],
        [4., 4., 8., 4., 4.],
        [4., 4., 4., 8., 4.]])

Call after zeroing gradients
tensor([[4., 2., 2., 2., 2.],
        [2., 4., 2., 2., 2.],
        [2., 2., 4., 2., 2.],
        [2., 2., 2., 4., 2.]])

注意，当我们使用相同的参数第二次调用backward时，梯度的值是不同的。这是因为在进行backward传播时，PyTorch会累积梯度的，即计算梯度的值被添加到计算图的所有叶节点的grad属性中。如果你想计算合适的梯度，你需要在此之前将grad属性归零。在现实训练中，优化器可以帮助我们做到这一点。

注意

以前我们调用没有参数的backward()函数。这基本上相当于调用backward(torch.tensor(1.0))，这是在标量值函数的情况下计算梯度的有用方法，例如神经网络训练期间的损失。