BP算法心得体会

摘要：

关于BP算法（误差反向传播）网上的学习、参考资料已经有很多了。每篇文章都差不多，都是在阐述BP的数学原理或者实践。本篇文章其实也和网上大部分文章一样，但从一个初学者的角度来分享学习这个算法的过程的一些体会。

参考资料：
知乎-BP算法
清晰的数学推导

预先定义：

网上许多资料都是以单层的神经网络为例推导BP算法，本文用一个两个隐藏层的神经网络为例推导BP算法。（其实结果是一样的）。网络结构如下图：

接着，我们定义一下一些参数。（请不要跳过这个环节）
假设输入层的每一个输入表示为$x_m$,$m=1,2...N_{input}$
假设输入层第$m$个输入与第一个隐藏层的第$i$个神经元的连接权重为$u_{im}$。
那么，第一层隐藏层的第$i$神经元输入为$net_{i}$，$net_{i}=\sum_{m=1}^{N_{input}} u_{im}x_m$。
因此，经过激活函数$f(x)$后，第$i$个神经元的输出为$y_{i}^{(1)}$
$y_{i}^{(1)}=f(net_i)$
同理可以得到第二个隐藏层：
第二层隐藏层的第j个神经元输入为$net_j$,$net_{j}=\sum_{m=1}^{N_{(1)}} v_{jm}y_{m}^{(1)}$，其中$N_{(1)}$是第二层的神经元个数。$v_{jm}$是权重。经过激活函数后其值为$y_{j}^{(2)}$,$y_{j}^{(2)}=f(net_j)$
最后，可以得到输出层：
$net_k=\sum_{m=1}^{N_{(2)}} w_{km}y_{m}^{(2)}$,经过激活函数后其值为$o_{k}$,$o_{k}=f(net_k)$。
另外，假设目前的损失函数为$E=\frac{1}{2}\sum_{m=1}^{N_{(o)}}(o_k-t_k)^2$。（这里的0.5系数是为了方便计算）
这里需要提一下的是，很多文章都是把损失函数定义成均方误差，这个主要是为是好解释BP算法。在后面推导完后就可以发现，其实任意的可导损失函数都可以，本文也会简单的说明。
另外，一些读者可能发现上面在求$net$的值时没有写明计算偏置项，其实这不影响我们的公式推导，后面也会做说明（当然，你也可以把公式理解成已经把偏置项包含进去了，此时输入总是1）

推导

BP算法解决的是什么问题？解决的是如何更新网络中的权重值。
一般来说，对于任意一个权重我们都有：
$w^{after}：=w^{before}+\Delta w$，第二项其实就是我们熟知的学习率和梯度的乘积。
在这个多层的网络中，需要学习的参数有$w_{km}$，$v_{jm}$，$u_{im}$。
其于目标函数$E$的梯度值分别为：
$\left.\frac{\partial E}{\partial w_{km}}\right.$，$\left.\frac{\partial E}{\partial v_{jm}}\right.$，$\left.\frac{\partial E}{\partial u_{im}}\right.$。只要能够求出上面这3个式子，我们就完成了更新权重的任务。所以下面，一个一个求解。
1.先求$\left.\frac{\partial E}{\partial w_{km}}\right.$：
由链式法则，我们可以得到下式：
$\left.\frac{\partial E}{\partial w_{km}}\right.=\left.\frac{\partial E}{\partial net_{k}}\right.*\left.\frac{\partial net_{k}}{\partial w_{km}}\right.$。

（这里简单解释一下为什么会想到这一步。回头看我们的一些参数定义，我们可以看到，$w_{km}$和$net_k$是最直接的函数关系，所以我们选择引入中间变量$net_k$，另一方面，我们如果把神经元输入作为中间变量引入到链式法则中后面推导得到式子会很整齐，很有规律性）

接着，我们定义一个误差信号：
所谓误差信号即：$\delta_k^{(o)}=\left.\frac{\partial E}{\partial net_{k}}\right.$，那么上式就可以写成：
$\left.\frac{\partial E}{\partial w_{km}}\right.=\left.\frac{\partial E}{\partial net_{k}}\right.*\left.\frac{\partial net_{k}}{\partial w_{km}}\right.=\delta_k^{(o)}*\left.\frac{\partial net_{k}}{\partial w_{km}}\right.$。
对于 ∂netk∂wkm