Pytorch(6)-自动微分 TORCH.AUTOGRAD

自动微分 TORCH.AUTOGRAD

在训练神经网络时，最常用的算法是 反向传播。在该算法中，根据损失函数相对于给定参数的梯度来调整参数（模型权重）。

为了计算这些梯度，PyTorch具有一个称为的内置微分引擎torch.autograd。它支持任何计算图的梯度自动计算。

考虑最简单的单层神经网络，它具有input x，parametersw和b，并且具有一些损失函数。可以通过以下方式在PyTorch中进行定义：

import torch

x = torch.ones(5)  # input tensor
y = torch.zeros(3)  # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)

张量，函数和计算图

这段代码定义了以下计算图：

在这个网络中，w和b为参数，这是我们需要优化。因此，我们需要能够针对这些变量计算损失函数的梯度。为此，我们设置requires_grad这些张量的属性。

在创建张量时设置requires_grad的值,也可以稍后使用x.requires_grad_(True)方法设置。

我们应用于张量以构造计算图的函数实际上是class的对象Function。该对象知道如何在正向方向上计算该函