神经网络概论

神经网络–概论

本节内容人工神经网络(Artificial Neural Networks,ANN)也简称为神经网络(Neural Networks,NN)，它是一种模仿动物神经网络的行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的能力。人工神经网络就是模拟认得四维的第二种方式，这是一个非线性的动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是丰富多彩的。

---

什么是神经网络

    人脑是一个高度复杂的、非线性的和并行的计算机器（信息处理系统），人脑能够组织他的组成成分，即神经元，比今天已有的最快的计算机还要快很多倍的速度进行特定的计算。人工神经网络即模仿人脑的工作过程，尽管这种模仿不是完全符合的。神经网络在两个方面与大脑相似：
      1. 神经网络是通过学习过程从外界环境获取知识的。
      2. 互联神经圆的连接强度，即突触权值，用于存储获得的知识
用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变网络的突触权值以获得想要的设计目标。对于突触权值的修改提供了神经网络设计的传统方法，这种方法和线性自适应滤波器理论很接近，而滤波器理论已经很好地建立起来并被应用在很多领域。但是受人脑的神经元细胞会死亡以及新的突触会连接生长的事实所启发，神经网络修改其自身的拓扑结构也是有可能的。
    神经网络具有以下有用的性质和能力：

• 非线性(Nonlinearity):人工神经元可以是线性的或非线性的
• 输入输出映射(input-output mapping)：称之为有教师学习或监督学习(supervised learning)的关于学习的流行方法。它使用带标号的训练样例来对神经元的突触权值进行修改，每一个样例由一个唯一的输入信号和相应的期望响应组成。
• 自适应性(adaptive)：调整自身突触权值适应外界环境的变化。
• 证据响应（evidential response）:提供关于决策的置信度信息，可以用来拒判哪些可能出现的过于模糊的模式，从而进一步的改善网络的性能。
• 上下文信息（contextual information):网络中的每一个神经元都受网络中其他神经元全局活动的潜在影响。
• 容错性（fault tolerance）：网络信息存储的分布特性，在网络的总体响应严重恶化之前，神经元的连接损坏是分散的，即神经网络性能上现实的是一个缓慢恶化的过程，而不是一个灾难性的失败。
• VLSI实现（VLSI implementability）：大规模并行性。
• 分析和设计的一致性：具有通用性。
• 神经生物类比：神经生物学的启示。

---

人类大脑

    人类的神经系统可以看作三阶段系统，如下图所示：

突触（synapse）或称之为神经末梢(nerve ending ),是调节神经元之间相互作用的基本结构和功能单位。它是神经元与神经元之间的连接点。突触可以分为两类，即化学突触和电突触。
细胞体：在脑和脊髓的灰质即神经节内，其形态各异。
树突：从胞体发出的一个或多个突起，呈放射状。
轴突：细胞体突起的最长的外伸管状纤维。
神经元之间通过突触传递信息，当神经冲动船只突触前膜时，突触小泡移至突触前膜，以胞吐的方式释放小泡内的神经递质，其中神经递质与突触后膜上的相应受体结合，后膜内外两侧的例子分布状况发生改变，呈兴奋性或抑制性改变，从而影响突触后神经元的活动。

---

一般神经元模型

神经元是神经网络操作的基本信息处理单位，如下图所示：

神经元模型的三种基本元素：

• 
  
• 突触或连接链级：每一个都由其权值或强度作为特征，具体来说，在连接到神经元k 的突触j 上的输入信号x_j被乘以k的突触权值w_kj。第一个下标指正在研究的这个神经元，第二个下标指权值所在的突触的输入端。突触权值可以取正值，也可以取负值。
• 加法器：用于求输入信号被神经元的相应突触的加权的和。这个操作构成了一个线性组合器。
• 激活函数：用于输出神经元的输出振幅，也成为压制函数。
  上图的神经元模型也包括一个外部偏置(bias),记为b_k,作用为根据其为正还是负相应的增加或降低激活函数的网络输入。
  用数学表示上述图示：
  

    $u_{k}= \sum_{j=1}^{m}w_{kj}x_{j}$      (1)
     $y_{k}=\varphi(u_{k}+b_{k})$       (2)
其中$x_{1},x_{2},x_{3},...,x_{m}$是输入信号,$w_{k1},w_{k2}...w_{km}$是神经元k的突触权值，u_k是输入信号的线性组合器的输出，b_k为偏置，激活函数为$\varphi{(●)}$,y_k是神经元的输出信号。

偏置b_k的作用是对线性组合器的输出u_k作仿射变换。

    $v_{k}=u_{k}+b_{k}$    (3).

结合式1和式3，考虑偏置，并且加上一个新的突触x₀=+1,权值是w_k0=b_k，我们可以得到如下公式：

    $v_{k}= \sum_{j=0}^{m}w_{kj}x_{j}$      (4)
     $y_{k}=\varphi(v_{k})$       (5).

则图示为：

---

激活函数类型

激活函数，记为$\varphi(v)$，是通过诱导局部域v定义神经元网络，下面是两种基本的激活函数：
1. 阈值函数

$$\varphi(v)=\left\{ \begin{array}{rcl} 1 & & {如果v\geq0}\\ 0 & & {如果v<0}\\ \end{array} \right.$$
此函数是分段的，在工程文献中，这种函数一般称为Heaviside函数。相应的，输出可以表示为：
$$y_k=\left\{ \begin{array}{rcl} 1 & & {如果v_k\geq0}\\ 0 & & {如果v_k<0}\\ \end{array} \right.$$
在神经计算中，这样的神经元被称作McCulloch-Pitts模型，以纪念McCulloch和Pitts所做出的开创性的的工作。
2. sigmoid函数
此函数的图形是“ S”形的，最为常用，它是严格的递增函数，在线性和非线性行为之间表现出了较好的平衡。sigmoid函数的一个例子是logistics函数，其定义如下：
$$\varphi(v)=\frac{1}{1+exp(-av)}$$
其中a是sigmoid函数的倾斜参数。
上述模型的图示如下：

阈值函数紧取值0或1，而sigmoid的值域是0到1的连续区间，并且sigmoid函数可微分。上述定义的激活函数的值域都是0到+1，如果期望值域为-1到+1，则阈值函数模型将改为：
$$\varphi(v)=\left\{ \begin{array}{rcl} 1 & & {如果v>0}\\ 0 & & {如果v=0}\\ -1 & & {如果v<0}\\ \end{array} \right.$$
通常称之为 signum函数，为了与sigmoid函数相对应，可以使用 双曲正切函数 $\varphi(v)=tanh(v)$,它允许sigmoid型的激活函数取负值。
3. 神经元的统计模型
图7的神经元模型是确定性的，但在实际中，基于随机神经模型的分析更符合实际需要，使用一些解析处理的方法，McCulloch-Pitts模型的激活函数使用概率分布实现。一个神经元允许有两个可能的状态值+1和-1，一个神经元激发是随机决定的。用 x表示神经元的状态， P(v)表示激发的概率，其中v是诱导局部域，则可以假定：
$$x=\left\{ \begin{array}{rcl} +1 & & {概率为P(v)}\\ -1 & & {概率为1-P(v)}\\ \end{array} \right.$$
一个标准选择是sigmoid型的函数：
$$P(v)=\frac{1}{1+exp(-v/T)}$$
其中T是为温度，用于控制激发中的噪声水平，即不确定性。