第二章 数学/模型基础（模型部分）-2

本部分内容简单介绍神经网络算法的基础

3.神经元模型

3.1 神经网络的发展史

3.2 M-P模型

1943 年，美国神经生理学家沃伦· 麦卡洛克（ Warren McCulloch ） 和数学家沃尔特 · 皮茨(Walter Pitts ）对生物神经元进行建模，首次提出了一种神经元模型，并命名为McCulloch-Pitts模型，即后来广 为人知的M-P模型

在M-P模型中，神经元接受其他n个神经元的输入信号（0或1），这些输入信号经过加权求和，将求和结果与阈值(threshold) θ 比较，然后经过激活函数处理，得到神经元的输出

3.3 M-P 模型可以表示多种逻辑运算

取反运算可以用单输入单输出模型表示，即如果输入为0则输出1， 如果输入为1则输出0。由M-P模型的运算规则可得w =-2， θ =-1

逻辑或与逻辑与运算可以用双输入单输出模型表示。以逻辑与运算为例， w1=1，w2=1, θ =1.

当时还没有通过对训练样本进行训练来确定参数的方法，上述参数只能人为事先计算后确定

4.感知器及多层感知器

1958 年，罗森布拉特（ Roseblatt ）提出了感知器，与 M-P 模型需要人为确定参数不同，感知器能够通过训练自动确定参数。训练方式为有监督学习，即需要设定训练样本和期望输出，然后调整实际输出和期望输出之差的方式（误差修正学习）

其中，α是学习率，r和 y 分别是期望输出和实际输出

4.1 感知器权重调整的基本思路

实际输出 y 与期望输出 r 相等时， w 和 θ 不变

实际输出 y 与期望输出 r 不相等时，调整 w 和 θ 的值

4.2 感知器训练过程

4.3 多层感知器

单层感知器只能解决线性可分问题，而不能解决线性不可分问题，为了解决线性不可分问题，我们需要使用多层感知器

多层感知器指的是由多层结构的感知器递阶组成的输入值向前传播的网络，也被称为前馈网络或正向传播网络

以三层结构的多层感知器为例，它由输入层、中间层及输出层组成

与M-P 模型相同，中间层的感知器通过权重与输入层的各单元相连接， 通过阈值函数计算中间层各单元的输出值

中间层与输出层之间同样是通过权重相连接

5.BackPropagation (BP)算法

多层感知器的训练使用误差反向传播算法（Error Back Propagation），即BP算法

BP算法最早由沃博斯于1974年提出，鲁梅尔哈特等人进一步发展了该理论

基本过程：①前向传播计算：由输入层经过隐含层向输出层的计算网络输出；②误差反向逐层传递：网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层向输入层传递；③由“前向传播计算” 与“误差反向逐层传递”的反复进行的网络训练过程

BP算法就是通过比较实际输出和期望输出得到误差信号，把误差信号从输出层逐层向前传播得到各层的误差信号，再通过调整各层的连接权重以减小误差。权重的调整主要使用梯度下降法

5.1 BP算法中激活函数-sigmoid

通过误差反向传播算法调整多层感知器的连接权重时，一个瓶颈问题就是激活函数

M-P 模型中使用阶跃函数作为激活函数，只能输出 0或 1，不连续所以不可导

为了使误差能够传播，鲁梅尔哈特等人提出使用可导函数sigmoid作为激活函数

Sigmoid函数的导数：

5.2 其他常用的激活函数

ReLU (Rectified Linear Unit,修正线性单元)和双曲正切tanh等