神经网络

0 绪论

应用范围

1. 模式识别
2. 最优化问题计算
3. 自动控制
4. 信号处理
5. 图像处理
6. 人工智能

1 基本概念

1.1 神经元模型

1. MP模型

思想：神经细胞的工作方式处于兴奋或抑制。基于此，引入硬极限函数。

神经元之间的信号连接强度取决于突触状态，在MP模型中，神经元的每个突出的活动前度用一个固定的实数即权值来模拟，每个神经元模型都可以从数十个甚至上百个其他神经元接收信息，产生兴奋和冲动。当刺激达到阈值时，就使神经元产生动作电位，若输入总和低于阈值，则不产生任何动作。

 xi为神经网元的输入，wi为相应的连接权值，T为神经元的兴奋阈值，y为神经元的输出。

y=1 if ∑wx≥T

y=0 if ∑wx<T

单个MP神经元模型可以实现与、或、与非、或非等二值逻辑运算，但是不能实现异或运算，而且其权值无法调节，因此缺乏一个关键因素，即学习能力。

1. 一般神经元模型

• a1~an为输入向量的各个分量
• w1~wn为神经元各个突触的可调输入权值
• b为偏置信号（用于建模神经元的兴奋阈值）θ
• f为激励函数，，一般sum替换为基函数u。
• t为神经元输出

t=f(u(WX-b))

采用的基函数类型有线性函数（sum），距离函数，椭圆函数等，激励函数可以是线性也可以是非线性的，常用的激励函数有硬极限函数y=f(u)=1，u>0；0，u<0；即f为符号函数，或者采用线性函数(y=f(u)=u)和饱和线性函数(y=f(u)=1/2*(|u+1|-|u-1|))；其他还有Sigmoidal函数(S 函数)，高斯函数。

2 神经元学习算法

神经网络的学习有两种形式：有导师学习和无导师学习。有导师学习的训练样本是输入输出对｛pi，di｝，其中pi为样本输入，di为样本输出（教师信号）；训练目的是通过调节各神经元的自由参数，使网络产生期望的行为，即对给定的输入pi，网络输出尽可能的接近di。无论有导师还是无导师学习，都要通过调整神经元的自由参数（权值或阈值）来实现。

对单个神经元，设权矢量为W=[w1,w2,...wn,θ]，输入样本为X=[x1,x2,...xn,-1]，这样阈值就并到权矢量中，这样当前权值为W(k)=[w1,w2,...wn,θ]。对有导师学习，假设输入X对应的期望输出为d，则神经元的学习算法的内容就是确定神经元的权值调整量ΔW(k)，并得到权值调整公式为

W(k+1) = W(k)+ηΔW(k)

η为学习率，且0<η<1。