[读书笔记]后向传播算法原理

[读书笔记]后向传播算法原理

$k$：输入层神经元
$j$：隐藏层神经元
$i$：输出层神经元
$t, b$: 偏置项(并未具体指定$t,b$是哪一层的偏置项）

以三层网络为例，推导出神经网络后向传播算法的一般规律。
首先，总体误差为：

$$E=\frac{1}{2}\sum_{\zeta, i}(d_i^\zeta - o_i^\zeta)^2$$
$\zeta$：训练样本
$d_i^\zeta$: 样本 $\zeta$在第 $i$个神经元的标准值
$o_i^\zeta$: 样本 $\zeta$在第 $i$个神经元的预测值

后向传播细节

1. 计算隐藏层-加权和
   $$net_j^\zeta=\sum_kw_{kj}o_k^\zeta+b_j$$
   • 计算隐藏层-激励值
     $$o_j^\zeta=f(net_j^\zeta)=f(\sum_kw_{kj}o_k^\zeta+b_j)$$
   • 计算输出层-加权和
     $$net_i^\zeta=\sum_kw_{ji}o_j^\zeta+b_i=\sum_jw_{ji}\cdot f(\sum_kw_{kj}o_k^\zeta+t_j)+b_i$$
   • 计算输出层-激励值
     $$o_i^\zeta=f(net_i^\zeta)=f(\sum_jw_{ji}o_j^\zeta+b_i)=f(\sum_jw_{ji}\cdot f(w_{kj}o_k^\zeta+t_j)+b_i)$$
   • 所有公式代入$E$
     $$E=\frac{1}{2}\sum_{\zeta,i}[d_i^\zeta-f(\sum_jw_{ji}\cdot f(\sum_kw_{kj}o_k^\zeta+t_j)+b_i)]^2$$
   • 计算输出层和隐藏层的权重梯度
   • 计算$\Delta W_{ji}$
     $$\frac{\partial E}{\partial w_{ji}}=\frac{\partial E}{\partial o_i^\zeta}\cdot\frac{\partial o_i^\zeta}{\partial net_i^\zeta}\cdot\frac{\partial net_i^\zeta}{\partial w_{ji}}=-\sum_\zeta (d_i^\zeta-o_i^\zeta)\cdot f'(net_i^\zeta)\cdot o_j^\zeta=-\sum_\zeta \delta_i^\zeta \cdot o_j^\zeta$$ $$\Delta w_{ji}=-\eta\cdot \frac{\partial E}{\partial w_{ji}}=\eta\cdot \sum_\zeta\delta_i^\zeta \cdot o_j^\zeta$$
     where
     $$\delta_i^\zeta=(d_i^\zeta-o_i^\zeta)\cdot f'(net_i^\zeta)$$
     for output neuron
   • $\Delta w_{kj}$
     $$\frac{\partial E}{\partial w_{kj}}=\frac{\partial E}{\partial o_j^\zeta}\cdot\frac{\partial o_j^\zeta}{\partial net_j^\zeta}\cdot\frac{\partial net_j^\zeta}{\partial w_{kj}}=-\sum_{\zeta,i} (d_i^\zeta-o_i^\zeta)\cdot f'(net_i^\zeta)\cdot w_{ji}\cdot f'(net_j^\zeta)\cdot o_k^\zeta=-\sum_{\zeta,i} \delta_i^\zeta\cdot w_{ji}\cdot f'(net_j^\zeta) \cdot o_k^\zeta=-\sum_\zeta\delta_j^\zeta\cdot o_k^\zeta$$ $$\Delta w_{kj}=-\eta\cdot \frac{\partial E}{\partial w_{kj}}=\eta\cdot \sum_\zeta \delta_j^\zeta \cdot o_k^\zeta$$
     where
     $$\delta_j^\zeta=f'(net_j^\zeta)\cdot \sum_iw_{ji}\cdot\delta_i^\zeta$$
     for hidden neuron
   • 一般地，对于一条权边$p→q$:
     $$\Delta w_{pq}=\eta\cdot \sum_\zeta\delta_q\cdot o_p$$ $$w_{pq}^{new}=w_{pq}^{old}+\Delta w_{pq}$$
     其中，
     $o$为激励值，
     $\delta$若于输出层，则为公式7；若于隐藏层，则为公式8.
   • sigmoid函数求导技巧
     $$o_l^\zeta=f(net_l^\zeta)=\frac{1}{1+e^{-net_l^\zeta}}$$ $$f'(net_l^\zeta)=\frac{e^{-net_l^\zeta}}{(1+e^{-net_l^\zeta})^2}=o_l^\zeta\cdot(1-o_l^\zeta)$$
   • 所以前面公式可以改写为：
     for output neuron
     $$\delta_i^\zeta=(d_i^\zeta-o_i^\zeta)\cdot o_i^\zeta\cdot(1-o_i^\zeta)$$ $$\Delta w_{ji}=\eta\cdot\sum_{\zeta}(d_i^\zeta-o_i^\zeta)\cdot o_i^\zeta\cdot(1-o_i^\zeta)$$
     for hidden neuron
     $$\delta_j^\zeta=o_j^\zeta\cdot(1-o_j^\zeta)\cdot\sum_i w_{ji}\cdot\delta_i^\zeta$$ $$\Delta w_{kj}=\eta\cdot\sum_\zeta \delta_j^\zeta\cdot o_k^\zeta=\eta\cdot\sum_\zeta o_j^\zeta\cdot(1-o_j^\zeta)\cdot\sum_iw_{ji}\cdot\delta_i^\zeta\cdot o_k^\zeta$$

   • 后向传播总结

     Repeat until termination criterion satisfied
     　1.forward pass
     　calculate actual output for every layer:$o$
     　2.backward pass
     　$w_{pq}(t+1)=w_{pq}(t)+\Delta w_{pg}$
     　$\Delta w_{pq}=\eta\cdot\delta_q\cdot o_p$　
     　$\delta_i=(d_i-o_i)\cdot o_i\cdot(1-o_i)$　
     　$\delta_j=o_j\cdot(1-o_j)\cdot\sum_iw_{ji}\cdot\delta_i$　
     　
     　

     参考: http://sydney.edu.au/engineering/it/courses/comp4302/ann4-6s.pdf/