模式识别（Pattern Recognition）学习笔记（十八）--感知器与神经网络

1.什么是人工神经网络（ANN）？

1.1ANN的由来

       在人工智能中，有两个研究方向：1）先试图对人类或其他高等动物的自然智能建立一定的数学模型，然后借助这种方式来帮助理解智能活动的奥秘；2）通过数学手段，利用计算机建立具备一定智能的机器。回顾下前面学习的贝叶斯决策和线性的非线性的判别方法，可以发现，它们显然对应于第二种研究方向，都是直接从数学的角度来分析数据的分布，建立线性的或非线性的判别函数，而并非直接与自然智能相联系。

       早在上世纪中，人们就开始了神经系统的研究，自上世纪80年代以来，人们开始大量的借用神经生理学的概念来研究人工智能，于是这时就诞生出了“人工神经网络”这门新兴学科，它的到来为模式识别方法的研究体系注入了新鲜的血液，人工神经网络（Artificial Neural Network），简称神经网络。

       神经网络的两大用法：1）分类器：学习机；2）作原系统的等效模型系统，主要用在智能控制上。

1.2ANN的基本思想

       借鉴于人或动物自然神经系统的构造和机理，神经系统由大量神经元构成，结构复杂，外加上人们再对这一网络建立一定的算法和数学模型，然后让它能够实现基于数据的模式识别、函数映射等智能化功能，这样的网络我们称之为人工神经网络。

      不同的数学模型可以得到不同的神经网络方法，而本篇学习的多层感知器（明显的跟前面学习的感知器有关，需要的可以回头查看复习）是其中最具影响力的一种模型，它能够从训练样本中学习任意复杂度的非线性映射的能力，而且可以实现复杂的非线性判别函数，因此，从模式识别的角度来看，它可以看作是一种通用的非线性分类器设计方法。

2.什么是神经元？

       神经元作为神经系统的基本组成单位，又叫神经细胞，一个典型的神经元由以下几部分组成：

       其中，细胞体是神经元的主体，主要负责信息加工；树突是细胞体外围的大量微小分支，可达10^3个数量级，主要作用是从外界接收信息；轴突作为神经元的输出，将输出传递给其他神经元；突触是一个神经元与另一个神经元的树突“连接”（注意，并非物理意义上的连接）的部位，它的状态影响着信号传递的效率。

       在一个神经系统中，往往有大量大量的神经元，人类的神经系统中各种神经元的总数可以达到10^10-10^11个，神经元之间通过突触连接，就构成了复杂的神经网络系统。

2.感知器神经元

       下面来看一个神经元是如何工作的：

        这是一个简化了的模型，作为ANN的基础，实际中神经元的活动要复杂的多，用公式表示：

            (1)

其中，x是神经元的输入，w是神经元的权重，是单位阶跃函数（0或1），作为神经元的传递函数，也可以用符号函数（1或-1）；

       几何角度上来看，感知器神经元就是用超平面（公式如下）将特征空间划分成两个区域：y=1和y=0（或-1）

       另外，如果将神经元的两个可能的结果当做两个类别的话，公式（1）所描述的传递函数其实就是一个线性分类器，而公式（1）就叫做感知器判别函数，有关该判别函数的求解，同样可以利用梯度下降迭代的方法，对权值进行迭代训练以修正。