【Pytorch】反向传播算法

前向算法中，需要w参与运算，w是网络中各个连接上的权重，这个值需要在训练中确定，在传统的机器学习方法中，可以通过梯度下降来确定权重的调整。在多层感知机中获得隐藏层的权重是困难的，我们能做的是计算输出层的误差更新参数。虽然无法直接获得隐藏层的权值，但是我们知道在权重变化后相应的输出误差的变化。预测值和真实值之间的差别可以评估输出层的误差，然后根据输出层的误差，计算最后一个隐藏层中的每个神经元对输出层误差影响了多少，最后一层隐藏层的误差又由前一层的隐藏层的计算得出。如此类推，直到输入层，这就是反向传播算法的思想。
反向传播算法基于梯度下降策略，是链式求导法则的一个应用，以目标的负梯度方向对参数进行调整。这是一场以误差为主导的反向传播运动，旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务当中去。
在反向传播算法中有一个超参数：学习率，用来制定反向传播过程中调整神经网络权重的速率，学习率越小岩者梯度下降的速度越慢，训练也就越慢，特别是在训练的初期，需要很长时间才能接近完美的训练目标。如果学习率过大，在训练过程中就会出现震荡的现象。通常在训练初期给一个较小的学习率，随后逐步增大学习率。这样做的原因是：如果一开始选择较大的学习率，可能导致损失之爆炸和震荡；若后期选择较小的学习率，可能会导致过拟合和收敛速度慢。
Pytorh封装了这一系列复杂的计算，Pytorch中所有神经网络的核心是autograd自动求导包。torch.autograd包的核心是Variable类，Variable类封装了Tensor并支持所有Tensor的操作，在程序中一旦完成了前向的计算，就可以直接调用.backward()方法，这时所有的梯度计算会自动进行。如果Variable是标量的形式，则不必指定任何参数给backward()。否则就需要制定一个和Variables形状匹配的grad_variables参数，用来保存相关Variable的梯度。
Pytorch中运算反向传播的例子：

from torch import torch.autograd
import Variable

#创建Variable变量
x = Variable(torch.ones(2,2), requires_grad=True)

#对Variable的操作
y = x + 2
z = y * y * 3
out = z.mean()

#自此关于out的前向运算计算完毕，就可以调用backward()函数
out.backward()

参考资料：Pytorch机器学习：从入门到实践