反向传播算法

反向传播算法的精髓是：通过链式求导法则，求出网络模型中每个参数的导数
反向传播算法的流程：输入、向前传播、输出层误差、反向传播误差输出。
在训练阶段，反向传播算法的工作方式就是把数据传入神经网络，然后经过一次向前传播后，得到每一层的输出数据。接着开始从输出层往前计算每一层的误差，直到第一层（输出层）为止。最后根据每一层的误差数据计算每一个损失函数关于偏置和权重参数的偏导，而这个偏导就是网络中参数的变化率。有了这个变化率之后，我们就可以利用梯度下降算法更新一次网络中的参数。如此迭代循环，利用反向传播算法求得网络参数的变化率，并用于更新网络的参数，最终使得损失函数收敛到局部最小值，训练阶段结束。