BP（Back Propagation）神经网络及Matlab矩阵实现

BP（Back Propagation）神经网络及Matlab矩阵实现

 

1、简介

人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。神经网络是一种运算模型，由大量的节点（或称“神经元”，或者“单元”）和之间相互联接构成。人工神经网络通常可以分为两类：依学习策略分类的网络（包含监督式学习网络（Supervised Learning Network）、无监督式学习网络（Unsupervised Learning Network）、混合式学习网络（Hybrid Learning Network）、联想式学习网络（Associate Learning Network）以及最适化学习网络（Optimization Application Network））；依网络架构分类的网络（前向式架构（Feed Forward Network）、回馈式架构（Recurrent Network）以及强化式架构（Reinforcement Network））。

本文主要是对神经网络中的前向式网络进行Matlab实现（尽量使用矩阵操作）。

BP神经网络由以下的优点：

(1)、经证明可以实现任意复杂的非线性函数。

(2)、具有较强的学习能力以及一定的推广、概括能力。

(3)、实现简单，已应用于许多大型系统中。

在拥有以上优点的同时，BP神经网络仍有其缺点：

(1)、收敛速度较慢。

(2)、易于陷入局部极小，易出现过拟合现象。

(3)、网络结构的选择尚无完整的理论指导，一般只能由经验决定。

 

2、BP神经网络的相关矩阵推导

2.1、多层网络

假设网络具有M层（包含输入层），并使用0到M-1标记各层，则可以用下式来表示本网络：

  

其中表示由第m层神经元输出组成的矩阵，为第m及m+1层神经元之间的连接矩阵，是由第m+1层中神经元所对应偏移值组成的矩阵，是由第m+1层中各神经元对应的激活函数组成的矩阵，表示第m层神经元的数目。由此可以看出，网络第零层为特征输入层（由P表示），第M层为最终输出层。

2.2、性能指标

网络训练集由下式表示：