人工神经网络——笔记摘抄1

一、人工神经网络简介

        人工神经网络(Artificial Neural Networks，ANN)基本组成成分是：输入(感知)器、加权求和(信息汇聚)、传递(信息传输)器、输出(响应)器组成。

        决定神经网络信息处理性能的三大要素：激励函数、学习算法、拓扑结构。

 二、人工神经网络研究热点

 ①激励函数——反应神经元输入累积和与输出之间的函数关系。

    激活函数的种类：线性恒等函数；阈值型激励函数(如阶跃函数)；非线性激励函数(常指sigmod函数，即S形函数，分为单极性S形函数和双极性S形函数两种)；分段线性函数概率型激励函数(利用一个随机函数来描述输出状态为1或0的概率，它重点描述状态的统计概率)。

  目前关于激活函数的研究有两个方向：1>复杂形势的函数用作激励函数；2>某线性无关或正交的函数系。前者有可调激励函数(Tunable Activation Function，TAF)神经元模型，具有可调节的权值、阈值(偏置)、激励函数族的参数，优点是学习速度快，网络结构简单，逼近性能好。后者用线性无关或者正交的函数组作为激励函数的神经网络被称为基函数神经网络，包括：高斯基函数神经网络，径向基函数神经网络，小波基函数神经网络，傅里叶基函数神经网络，正交多项式基函数，Legendre正交基钱箱神经网络，Laguerre正交基前向神经网络，Gegenbauer神经网络，Hermite前向神经网络，复指数Fourier神经元网络等神经网络模型。

②学习算法——为使神经网络执行某种任务，需使用有效的学习算法来调节神经元的互联权值或偏置，这就算神经网络的学习修正过程。

     1>有监督学习(有教师学习)：采用纠错规则，在学习过程中需要提供与网络输入相对应的期望输出，并根据神经网络的实际输出与期望输出之间的误差信号对应地调整网络的连接权值以使该误差不断缩小，进而使得下一次学习完成后该神经网络的输出更接近期望结果，直至达到所要求的逼近精度(性能指标)。

     2>无监督学习(无教师学习)：神经网络根据其特有的结构、外部输入信号特征和学习规则来调节自身参数或结构，其结果是使神经网络的输出能够反映输入的某种固有特性。一般认为这种学习模式中神经网络的学习评价标准隐含于网络内部。

    3>混合型学习算法

    4>强化学习算法

    5>预置型学习算法

☆☆权值调整算法：典型的就是最速梯度下降的误差回传算法，可搜索到最优连接权值，但迭代(收敛)时间长，易陷入局部极小值，学习精度不高，学习率难选取。

                                    基于矩阵逆和伪逆的思想尝试直接确定该类神经网络的最优权值，有点是在ms级的时间内直接计算确定该类神经网络的最优连接权值，学习精度也大大提高。

③拓扑结构

      1>前向网络：多采用层次型结构，以层的形式组织起来，各层顺序相联，网络中各神经元接收前一级的输入，并输出到下一级，神经元自身及神经元之间都不存在连接，即网络中没有反馈型物理连接。由输入层，隐藏层，输出层构成。隐层神经元不与外接发生直接的联系，它从网络内部接受输入信息，所产生的输出也只作用于该神经网络中的其他神经元。隐节点过少，学习达不到期望的收敛精度；相反，隐节点过多，网络学习性能得到加强。隐神经元数目的选取直接影响到神经网络拓扑结构和网络性能。

      2>反馈型网络：是一种从输出到输入或网络各层具有反馈连接的网络结构。在反馈网络中，输入信号决定网络的初始状态，经过一系列变换(转移)后网络逐渐稳定和接近平衡状态(稳态)，稳态结果就作为反馈网络的最终结果而输出。

☆☆典型的钱箱神经网络是反向误差传播神经网络(Error Back Propagation Neural Network，BP神经网络)，而典型的反馈神经网络是Hopfield类型神经网络。