用简单的图来解释人工神经网络（三）——BP神经网络

一、基本概念

BP(Back-Propagation)：误差反向传播（训练权值时沿着减小误差的方向），并不属于反馈神经网络。

BP神经网络是一种多层网络。

广泛应用于：分类识别、逼近、回归、压缩等领域

在实际应用中，大约80%的神经网络模型采取了BP网络或BP网络的变化形式，一个包含两个隐藏层的BP神经网络的结构图如下图所示。

传递函数必须可微，所以二值函数与符号函数等没有用武之地了。

BP神经网络常用两种传递函数：Log-sigmoid   和   Tan-sigmoid   ，曲线如下图所示。

这两个函数在分类时比线性函数更精确，容错性较好。

所以BP神经网络的典型设计是：隐藏层用sigmoid函数，输出层用线性函数

二、学习算法

1.最速下降法

原理：

实值函数F(x)在某点x0处有定义且可微。则函数沿着梯度相反的方向下降速度最快。

根据梯度值可以在函数中画出一系列等值线或等值面，梯度下降法相当于沿着垂直于等值线方向向最小值所在位置移动。

局限：

1.目标函数必须可微

2.最小值附近若比较平坦，在最小值附近收敛缓慢

3.多个极小值时容易陷入局部极小值

2.最速下降BP法（核心）

整个流程可以分成两个部分

第一部分为工作信号正向传播（黄色部分）

第二部分为误差信号反向传播（蓝色部分）

 

三、最速下降BP法的改进

 

1.动量BP法

引入动量因子α（0.1<α<0.8）,使权值修正不止与本次计算有关，还与上次更新有关，使权值具有一定惯性、抗震荡性和快速收敛的能力。

                                                         

2.学习率可变的BP法

当误差以减小方式趋于目标时，增加学习率

当误差增大，则减小步长，同时撤销前一步修正。

                                                            

3.拟牛顿法

                                                              

H为误差性能函数的Hessian函数，包含了误差函数的导数信息。   

                                                                      

4.LM算法

                                                         

J是包含误差性能函数对网络权值一阶导数的雅克比矩阵。