【pytorch】torch.autograd的简单介绍

前言

pytorch中的自动微分引擎，主要是服务神经网络的训练的。神经网络可以看作一个复杂函数，给其输入，会输出对应的结果，给出预测结果的过程叫做前向传播。

网络预测的结果与实际的标注值可能会有出入，这样就会产生误差，通过计算误差对模型中可学习参数的梯度，并且将梯度存储在可学习参数的grad属性中，然后根据优化算法更新网络的可学习参数，从而学习数据分布的规律。 计算梯度过程就是反向传播的核心(可学习参数的优化是优化器的核心工作)。

本文以实例方式，记录反向传播中的梯度计算、及参数更新的基础知识，加深记忆。
 

示例

假设a、b张量为模型的可学习参数，q为损失，a、b、q之间的关系存在：q = 3*a^3 - b^2，则前向传播简化如下:

反向传播调用张量的backward方法，就会计算张量关于动态图中叶子节点的梯度。此例中应该调用张量q的backward方法，但是由于q包含多个元素，因此还需要传递张量q关于自己的梯度， 当q是多维张量时，额外需传递的梯度值可参考补充资料。

可以发现自己计算的梯度与pytorch反向传播计算的梯度是一致的。
 

补充材料：雅克布矩阵

假设向量y与向量x之间存在关系y = f(x)，则向量y关于向量x的梯度就是雅克布矩阵J， 其中y为m维向量，x为n维向量：

torch.grad本质是计算向量v与雅克布矩阵的乘积，其中向量v是一个标量函数的梯度，一般就是损失值对网络预测值的梯度，则J.T @ v就等于“损失值对可学习参数的梯度”：

 

参考资料

A Gentle Introduction to TORCH.AUTOGRAD