深度学习——神经网络的反向传播算法

简介

反向传播算法大体上来说是链式求导法则在神经网络训练中的应用

该算法的发现对于神经网络以及深度学习的发展起到了举足轻重的作用

主要思想：

无论神经网络模型多复杂，多层还是单层的，我们训练的目的都是为了更新函数的参数，而其目标就是为了最小化一个损失函数，这个损失函数是可导的，将损失函数对于函数内部的一个参数去求导，然后反方向更新参数，就可以将损失函数降低。对于结构复杂的神经网络模型，我们就是通过链式法则逐层求导数

如图是一个反向传播的简略示意图
z代表每个节点的输入，y表示输出
w代表每一层连接的权重，我们的目的就是为了得到损失函数E对于w的求导，
然后按照更新的规则更新每一层的权重w来达到优化

首先对于输出层，可以得到对于权重W_kl的求导结果如下

这个结果依赖于损失对于该节点输入的求导以及上一层的输出结果

然后逐层传播，可以得出倒数第二层的各求导结果


以此类推，最终得到每一层权重W的更新方式，完成反向传播算法

水平有限，如有错误还请指正

集体的公式推导：
反向传播4公式及推导