反向传播

反向传播（Back Propagation）

在此做一些学习笔记的记录，视频来自link

神经网络需要计算损失对权重的导数，以此来对权重进行更新
对于复杂的神经网络（即含有多个权重w），就不能直接套用梯度下降公式来计算权重w，否则计算量巨大，因此利用反向传播来解决复杂神经网络的问题

通过链式运算的规则，我们可以将输出端的损失函数通过反向传播（backward）（红线），来实现对权重w或者上一项x的偏导，从而实现梯度下降的目的。而从输入端到输出端的过程称为前馈（forward）（蓝线）

以简单的线性模型为例，大致的流程如下：

总结：正向前馈（forward）用于算出对应样本的损失，反向传播（backward）用于算出相应的梯度，根据梯度下降的情况来更新权重。