前言
看反向传播视频的时候被里面突然出来的一堆公式整懵了,为方便理解在此简单的梳理补充一下关于反向传播算法的公式推导,本人数学水平不高,如有理解不到位的地方欢迎大家指出
(文中字母上标表示层数,下标表示该层的第几个元素)
链式求导法则
首先先说链式求导,假设,其中
可以写出J相对于的偏导
由公式可以看出,将每个偏导看成一个整体的话,链式求导法则和神经网络的传播过程相似,图示为
其中每条线上对应的权重为
反向传播算法
同样定义与上图中相同的神经网络结构,设J为,其他条件为(与视频中的定义基本一致,以下公式中的i,j,k重,与前一部分的i,j,k不同)
(g为sigmoid函数)
定义激活项误差δ为
个人感觉这里视频中并没有说清楚,如图
视频中显示的输出层误差,实际上算的是
,而下面计算隐藏层的误差
,算的却是
,其关系为:
因而这两者不能等同理解,视频中采用同一个符号容易造成误解
计算出的激活项误差之后,就很容易计算得到代价函数J关于参数Θ 的偏导