BP神经网络

BP是back propagation

BP神经网络主要的算法在于误差反向传播error BackPropagation

神经网络结构

有三层：输入层（input）、隐含层（hidden）、输出层（output）

输入层：n个神经元

隐含层：p个神经元

输出层：q个神经元

变量定义

输入向量：$x=(x_1,x_2,...,x_n)$
隐含层输入向量：$hi=(hi_1,hi_2,...,hi_p)$
隐含层输出向量：$ho=(ho_1,ho_2,...,ho_p)$
输出层输入向量：$yi=(yi_1,yi_2,...,yi_q)$
输出层输出向量：$yo=(yo_1,yo_2,...,yo_q)$
期望输出向量：$d_o=(d_1,d_2,...,d_q)$

输入层与隐含层的连接权值：$w_{ih}$
隐含层到输出层的连接权值：$w_{ho}$
隐含层阈值：$b_h$
输出层阈值：$b_o$

样本数据个数：$k=1,2,...,m$
激活函数：$f(.)$
误差函数：$e=\dfrac{1}{2}\sum\limits_{o=1}^q(d_o(k)-yo_o(k))^2$

第一步

网络初始化

给各个权值赋予随机初值在(-1, -1)

设定误差函数e，给定计算精度值$\varepsilon$

给定计算学习次数M

第二步

随机选取第k个样本及对应期望输出

$x(k)=(x_1(k),x_2(k),...,x_n(k))$

$d_o(k)=(d_1(k),d_2(k),...,d_q(k))$

第三步

计算各个神经元的输入和输出

$hi_h(k)=\sum\limits_{i=1}^nw_{ih}x_i(k)-b_h\ \ \ \ \ h=1,2,...,p$

$ho_h(k)=f(hi_h(k))\ \ \ \ \ h=1,2,...,p$

$yi_o(k)=\sum\limits_{h=1}^pw_{ho}ho_h(k)-b_o\ \ \ o=1,2,...,q$

$yo_o(k)=f(yi_o(k))\ \ \ \ o=1,2,...,q$

第四步

求误差对$w_{ho}$偏导

用到链导法则

$\dfrac{\partial e}{\partial w_{ho}}=\dfrac{\partial e}{\partial yi_{o}} \dfrac{\partial yi_o}{\partial w_{ho}}$

把这个式子分成两部分来求：

$\dfrac{\partial e}{\partial yi_{o}}=\dfrac{\partial(\dfrac{1}{2}\sum\limits_{o=1}^q (d_o(k)-yo_o(k))^2)}{\partial yi_o}\\ \ \ \ \ \ \ \ \ \ =-(d_o(k)-yo_o(k))yo'_o(k)\\ \ \ \ \ \ \ \ \ \ =-(d_o(k)-yo_o(k))f'(yi_o(k))\\ \ \ \ \ \ \ \ \ \ =-\delta_o(k)$

$\dfrac{\partial yi_o}{\partial w_{ho}}=ho_h(k)$ 这个等式很明显

第五步

求误差对$w_{ih}$偏导

$\dfrac{\partial e}{\partial w_{ih}}=\dfrac{\partial e}{\partial hi_h(k)}\dfrac{\partial hi_h(k)}{\partial w_{ih}}$

这个也分两部分来求，后一部分是：

$\dfrac{\partial hi_h(k)}{\partial w_{ih}}=x_i(k)$

$\dfrac{\partial e}{\partial hi_h(k)}=-(\sum\limits_{o=1}^q\delta_o(k)w_{ho})f'(hi_h(k))=\delta_h(k)$

如何理解上式：
主要思想就是链导
误差对隐含层输入的偏导 = 误差对输出层输入的偏导 $\times$ 输出层输入对隐含层输出的偏导 $\times$ 隐含层输出对隐含层输入的偏导

其中：
误差对输出层输入的偏导就是$\delta_o(k)$
输出层输入对隐含层输出的偏导就是$w_{ho}$
隐含层输出对隐含层输入的偏导就是$f'(hi_h(k))$

所以就有了上式

第六步

更新权值

$\Delta w_{ho}(k)=-\mu\dfrac{\partial e}{\partial w_{ho}}=\mu\delta_o(k)ho_h(k)$
$w_{ho}^{N+1}=w_{ho}^N+\Delta w_{ho}(k)$

$\Delta w_{ih}(k)=-\mu\dfrac{\partial e}{\partial w_{ih}}=\delta_h(k)x_i(k)$
$w_{ih}^{N+1}=w_{ih}^N+\Delta w_{ih}(k)$

原文地址：这里写链接内容