pytorch学习笔记（5）--Autograd

系列文章

pytorch学习笔记（1）–QUICKSTART
pytorch学习笔记（2）–Tensor
pytorch学习笔记（3）–数据集与数据导入
pytorch学习笔记（4）–创建模型(Build Model)
pytorch学习笔记（5）–Autograd
pytorch学习笔记（6）–Optimization

---

---

梯度下降

在训练神经网络时，最常用的算法是反向传播。 在该算法中，根据损失函数相对于给定参数的梯度来调整参数（模型权重）。损失函数计算神经网络产生的预期输出和实际输出之间的差异。 目标是使损失函数的结果尽可能接近于零。 该算法通过神经网络向后遍历来调整权重和偏差来重新训练模型。 这就是为什么它被称为反向传播。 随着时间的推移重新训练模型以将损失减少到 0 的这种前后过程称为梯度下降。
为了计算这些梯度，PyTorch 有一个内置的微分引擎，称为 torch.autograd。 它支持任何计算图的梯度自动计算。 考虑最简单的一层神经网络，具有输入 x、参数 w 和 b 以及一些损失函数。 它可以通过以下方式在 PyTorch 中定义：

%matplotlib inline
import torch

x = torch.ones(5)  # input tensor
y = torch.zeros(3)  # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)

w和b是需要被优化的参数。通过创建tensors时设置这些tensors的requires_grad属性可以计算后向传播的梯度。或者之后用**x.requires_grad_(True)**设置。

print(f"Gradient function for z = {z.grad_fn}")
print(f"Gradient function for loss = {loss.grad_fn}")

输出：

Gradient function for z = <AddBackward0 object at 0x7fd09a56fe20>
Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward0 object at 0x7fd09a56e200>

为了优化神经网络中参数的权重，我们需要计算损失函数相对于参数的导数，即，在 x 和 y 的固定值下，我们需要 $\frac{\partial loss}{\partial w}$ 和 $\frac{\partial loss}{\partial b}$ ​。 为了计算这些导数，我们调用 loss.backward()，然后从 w.grad 和 b.grad 检索值：

loss.backward()
print(w.grad)
print(b.grad)

tensor([[0.2739, 0.0490, 0.3279],
        [0.2739, 0.0490, 0.3279],
        [0.2739, 0.0490, 0.3279],
        [0.2739, 0.0490, 0.3279],
        [0.2739, 0.0490, 0.3279]])
tensor([0.2739, 0.0490, 0.3279])

我们只
能获取将requires_grad属性设置为True的计算图的叶节点的grad属性。 对于我们图中的所有其他节点，梯度将不可用。 此外，出于性能原因，我们只能在给定的图上使用一次后向来执行梯度计算。 如果我们需要在同一个图上进行多次向后调用，我们需要将retain_graph=True传递给向后调用。

停止梯度跟踪

默认情况下，所有 require_grad=True 的张量都会跟踪其计算历史并支持梯度计算。 然而，有些情况下我们不需要这样做，例如，当我们训练完模型而只想将其应用到一些输入数据时，即我们只想通过网络进行前向计算。 我们可以通过用 torch.no_grad() 块包围我们的计算代码来停止跟踪计算：

z = torch.matmul(x, w)+b
print(z.requires_grad)

with torch.no_grad():
    z = torch.matmul(x, w)+b
print(z.requires_grad,'\n')
#或使用detach()
z = torch.matmul(x, w)+b
z_det = z.detach()
print('z_det.requires.grad = ',z_det.requires_grad)
print('z.requires_grad = ',z.requires_grad)

输出：

True 
False 

z_det.requires.grad = False 
z.requires_grad = True

实际上z_det= z.detach（）是一个深拷贝的过程

以上不需要梯度跟踪的情况使用于：

• 将神经网络中的某些参数标记为冻结参数。
• 当您仅进行前向传播时加快计算速度，因为对不跟踪梯度的张量进行计算会更有效。

计算图

从概念上讲，autograd 在由 Function 对象组成的有向无环图 (DAG) 中保存数据（张量）和所有执行的操作（以及生成的新张量）的记录。 在这个 DAG 中，叶子是输入张量，根是输出张量。 通过从根到叶追踪该图，您可以使用链式法则自动计算梯度。
在前向传播中，autograd 同时执行两件事：

• 运行请求的操作来计算结果张量，
• 并在 DAG 中维护操作的梯度函数。

当在 DAG 根上调用 . backward() 时，后向传播开始。 autograd 然后：

• 计算每个 .grad_fn 的梯度，
• 将它们累积在各自张量的 .grad 属性中，
• 并使用链式法则，一直传播到叶张量。

DAG 在 PyTorch 中是动态的
需要注意的重要一点是图是从头开始重新创建的； 每次 .backward() 调用后，autograd 开始填充新图表。 这正是允许您在模型中使用控制流语句的原因； 如果需要，您可以在每次迭代时更改形状、大小和操作。

在调用backward时，pytorch会将梯度累计，所以我们要想计算正确的梯度，要先将grad属性置零

inp = torch.eye(5, requires_grad=True)
out = (inp+1).pow(2)
inp.grad.zero_()
out.backward(torch.ones_like(inp), retain_graph=True)
print("\nCall after zeroing gradients\n", inp.grad)

调用backward()时不写参数默认为backward（torch.tensor(1.0)）