Pytorch源码学习02--torch.autograd

概念

torch.autograd是 PyTorch 的自动差分引擎，可为神经网络训练提供支持。

背景

神经网络（NN）是在某些输入数据上执行的嵌套函数的集合。 这些函数由参数（由权重和偏差组成）定义，这些参数在 PyTorch 中存储在张量中。
训练 NN 分为两个步骤：
正向传播
在正向传播中，NN 对正确的输出进行最佳猜测。 它通过其每个函数运行输入数据以进行猜测。
反向传播
在反向传播中，NN 根据其猜测中的误差调整其参数。 它通过从输出向后遍历，收集有关函数参数（梯度）的误差导数并使用梯度下降来优化参数来实现。

用法

import torch, torchvision 
# torchvision 是PyTorch中专门用来处理图像的库。这个包中有四个大类。
# torchvision.datasets
# torchvision.models
# torchvision.transforms
# torchvision.utils

model = torchvision.models.resnet18(pretrained=True)
# 从torchvision加载了经过预训练的 resnet18 模型
data = torch.rand(1, 3, 64, 64) 
# 创建一个随机数据张量来表示具有 3 个通道的单个图像，高度&宽度为 64
labels = torch.rand(1, 1000)
# 对应的label初始化为一些随机值

prediction = model(data) # 前向传播

loss = (prediction - labels).sum()  # 计算损失
loss.backward()   # 反向传播
# Autograd 会为每个模型参数计算梯度并将其存储在参数的.grad属性中

optim = torch.optim.SGD(model.parameters(), lr=1e-2, momentum=0.9)
# 优化模型参数  lr：学习率  momentum：动量

optim.step() # 梯度下降
# 调用.step()启动梯度下降，优化器通过.grad中存储的梯度来调整每个参数。

引用

PyTorch 中文教程 & 文档.