BP神经网络相关知识

神经元

神经网络最基本的成分是神经元模型，下图是已知沿用至今的M-P神经元模型：

该神经元接收前面其他n个神经元传递的输出值作为该神经元的输入，这些输入通过带权值的连接进行传递。神经元将接收到的总输入值与神经元阈值相比较，然后通过激活函数$f$处理，最终形成本神经元的输出。

理想的激活函数是阶跃函数，将输入值映射为0和1，但是这样的函数不连续可导，不利于网络的学习。更多情况下，我们使用其他函数代替，比较常见的激活函数之一是Sigmoid函数：

Sigmoid函数可以把较大范围内的输入值挤压到(0,1)之间。除了Sigmoid函数，还有一些其他常见的激活函数，具体的在下一篇文章讲解。

感知机

感知机是由两层神经元组成的，如下图所示：

输入层接收输入的数据，然后传递给输出层，输出层就是上面提到的M-P神经元。需要注意的是，感知机只有输出层神经元进行激活函数处理。即只拥有一层功能神经元，其学习能力非常有限，只能解决简单的二分类问题，如：“与”，“非”，“或”；不能解决异或问题。

为了解决非线性问题，需要考虑使用多层功能神经元，如下图所示：

上图中的两层感知机模型就能解决异或问题。输入层与输出层之间的一层称为隐含层，隐含层与输出层一样，都是具有激活函数的神经元。

更一般的，神经网络结构是如下图所示的层级结构，隐含层的数量也可以有更多个：

每层的神经元仅与下一层的神经元互联，这样的网络称为多层前馈神经网络。神经网络的学习过程，就是根据训练数据来调整神经元之间的连接权重，以及每个神经元的阈值。神经网络学到的东西，都蕴含在连接权重和阈值中。

反向传播算法

给定训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } , x i ∈ R d , y i ∈ R l D=\{(x_1,y_1),(x_2,y_2),\ldots,(x_m,y_m)\},x_i \in \mathbf R^d,y_i \in \mathbf R^l D={ (x1​,y1​),(x2​,y2​),…,(xm​,ym​)},xi​∈Rd,yi​∈Rl ，即输入数据有$d$个属性，输出$l$维实值向量。隐层神经元个数是$q$。输出层第$j$个神经元的阈值用${\theta }_j$表示，隐层第$h$个神经元的阈值用${\gamma }_h$表示。激活函数采用sigmoid函数。

对训练样本$(x_k,y_k)$，假定神经网络的输出为$\hat{\mathbf{y}}=({\hat{y}}_1^k,{\hat{y}}_2^k,\dots ,{\hat{y}}_l^k)$，所以有：
$${\hat{y}}_j^k=f({\beta }_j-{\theta }_j)$$
则网络在$(x_k,y_k)$上的均方误差为：
$$E_k=\frac{1}{2}\sum _{j=1}^l({\hat{y}}_j^k-y_j^k{)}^2$$
我们的目标是最小化这个误差函数。

待求参数：

（1）输入层到隐藏层有$d\times q$个权重参数$\Delta v_{ih} $。

（2）隐藏层到输出层有$q\times l$个权重参数$\Delta w_{hj}$。

（3）隐层$q$个神经元的阈值$\Delta {\gamma }_h$。

（4）输出层$l$个神经元的阈值$\Delta {\theta }_j$。

BP神经网络基于梯度下降策略，以误差函数的负梯度方向对参数进行迭代，进而优化参数。

1，求$\Delta w_{hj}$

对误差函数$E_k$，给定学习率$\eta$，有：
$$\Delta w_{hj}=-\eta \frac{\partial E_k}{\partial w_{hj}}$$
根据链式求导法则：
$$\frac{\partial E_k}{\partial w_{hj}}=\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial w_{hj}}$$
sigmoid函数求导结果如下：
$$f^{\prime }(x)=f(x)(1-f(x))$$
定义$g_i$：
$$\begin{array}{rl}{g}_i& =-\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\\ & =-({\hat{y}}_j^k-y_j^k)f^{}\\ & \\ & \end{array}$$