菜鸟学matlab之智能算法（2）——————————BP神经网络算法

一.算法背景和理论

BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。

---

二.算法的详细分析

图2.1BP神经元的简略图

关于图的分析（五种元素）：

      1）输入信号（也就是我们的输入向量）
      2）连接权（通常也用向量来表示）：连接强度由各自连接上的权值表示（正负都可以），其中正表示激活，负表示抑制。
      3）加法器：用来求所有输入信号及其对应的权值积的和。
      4）激活函数：用来抑制输出信号的振幅（这个下文会有详解），激活函数也可以被称为抑制函数，因为它将输出信号限制在允许范围的一个定值。通常，一个输出信号的正常幅度范围可 写成单位闭区间的[0,1]，或者另一种区间[-1,1]。
      5）偏置阙值（可要可不要）：在BP神经网络中，阈值也是一个变化值。根据其为正或者为负，相应的增加或者减少激活函数的网格输入。具体可以用下面的公式表示（其中bk表示自行设定的阙值大小）：
     ![这里写图片描述](https://img-blog.csdn.net/20150907001635630) 

　　通过训练网络（下面会详解），对权重和阈值进行修正，最终达到局部最优。
—————————————————————————————
三.BP神经网络中各个元素的详解及扩展
1）激活函数的种类
激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。
(1) 线性函数 ( Liner Function )

该函数在变量位于（-1,1）之间时放大的系数是一致的。
(2) 斜面函数 ( Ramp Function )

(3) 域值函数 ( Threshold Function )

当输入变量大于等于0时，输出函数值为1，当小于0时，输出为0.

以上3个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数（最常用）。
说明：所有的非线性都为实数域R到[0，1]闭集的非连接函数，代表了状态连续型神经元模型。最常用的的非线性转移函数是单极性的Sigmoid函数曲线，简称S型函数，其特点是函数本身及其导数都是连续的，能够体现数学计算上的优越性，因而在处理上十分方便。具体定义如下
(4)S形函数 ( Sigmoid Function )

　图像：

(5) 双极S形函数 （取值范围[-1,1]）

四.具体的神经网络模型

分类标准：将一个神经元的输出送到另一个神经元作为输入信号称之为连接，每个连接通路对应一个连接权系数，相同神经元经过不同的连接方式将得到不同特性的神经网络（一般可分为分层网络和相互连接型网络）

1.分层网络

定义：将模型中的所有神经元按照功能分成若干层。一般有输入层.隐含层（中间型）和输出层，各层次相互连接。

输入层连接外部输入模式，并由各输入单元传送给项链的隐含层各单元；隐含层是模型的内部处理（这个也是理解了很久，并和最终输出信号的精度有关。）单元层，神经网络所具有的模式变换能力，如模式完善.特征抽取等，主要体现在隐含层单元的处理，根据模式变换功能的不同，隐含层可以有多层，也可以一层都没有；输出才能产生神经网络的输出模式。

分层网络可以细分为三种（根据内部的互联方式）
1）单纯的前向行网络（见图a）

结构分析：输入模式有输入才能进入网络，经过中间各层顺序（一直向前无反馈）模式，由输出层产生一个输出模式，并完成一次网络状态的更新。

2）具有反馈的前向型网络（见图b）