反向传播算法一般用链式法解释,例如有如下神经网络
一 前向传播
对于节点h1来说,h1的净输入neth1如下
接着对neth1做一个sigmoid函数得到节点h1的输出
类似的,我们能得到节点h2,o1,o2的输出outh2,outo1,outo2.
二 误差
得到结果后整个神经网络的输出误差可以表示为:
其中output就是刚刚前向传播算出来的outo1,outo2;target是节点o1,o2的目标值。Etotal是衡量二值误差的。
这个Etatol也可以认为是cost function,不过这里省略了防止overfit的regularization term()
展开得到
三 后向传播
对输出层的w5
通过梯度下降调整w5,需要求 由链式法则:
如下图所示:
以上3个相乘得到梯度,之后就可以训练了:
很多教材,比如stanford的课程,为了计算方便会把中间结果
记做
表示这个节点对最终的误差需要负多少责任。所以有
对隐藏层w1
通过梯度下降调整w1,需要求 ,由链式法则:
如图所示:
参数w1影响了、neth1,进而影响了outh1,之后影响了Eo1,Eo2。
求解每一部分:
其中
这里 之前计算过。
的计算也类似,所以得到
的链式中其他两项如下:
相乘得到
得到梯度后,就可以对w1迭代了
在前一个式子里同样可以对 进行定义
所以整梯度可以写成
所谓的后向传播,其实就是『将来在宣传传播上出了偏差,你们要负责的!』,每一个节点负责的量用\delta表示,那么,隐藏节点需要负责的量,就由输出节点负责的量一层层往前传导。
四 图示
参考:
【1】A Step by Step Backpropagation Example
【2】Unsupervised Feature Learning and Deep Learning Tutorial
【3】https://www.zhihu.com/question/24827633