神经网络学习的基本概念

1.符号主义与连接主义

(1)符号主义：重视逻辑而轻视感知。 Eg.专家系统 

(2)连接主义 ：重视感知而轻视逻辑。Eg.神经网络

共同之处在于都是研究怎样用计算机来模拟人脑工作过程。

(图源自《人工智能》 马少平)

2.神经网络的基本模型

(1)前馈型网络

信号由输入层到输出层单向传播，每层的神经元仅与前层的神经元相连接，只接受前层传输来的信息。

 图来源《人工智能》 马少平

(2)输入输出有反馈的前馈性网络

其输出层上存在一个反馈回路到输入层的回路，网络本身还是前馈型的。

因此在此神经网络的输入层不仅接受外界的输入信号，同时也接受网络自身的输出信号。输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号。

常用于系统控制、实时信号处理等需要根据当前状态进行调节的场合。

图来源《人工智能》 马少平

(3)前馈内层互联网络

从外部看是一个前向网络，但是内部有一些结点在内层互联。

即同层之间的神经元的互相连接。

图来源《人工智能》 马少平

(4)反馈型全互联网络

即网络所含的神经元之间有相互联系的网络。

图来源《人工智能》 马少平

 

3.神经网络的优缺点

主要优点

(1)信息处理的并行性

(2)知识的分布存储

传统的人工智能系统的知识大多是以知识库的形式存储的，而在神经网络中，知识分布在网络的各个角落。

(3)对于系统本身及环境变化的容错性

因为系统知识的分布式处理，使得神经网络对于样本的错误等原因引起的环境干扰有很强的鲁棒性和容错能力。

(4)学习能力

大部分神经网络模型的学习是从随机初始值开始的，理论上初始值不影响最终结果。整个过程无人工干预，系统通过学习发生的变化也无从查看。

主要缺点

(1)不适合于高精度计算

即神经网络通常是给出一个可信度或相对最优的结果，而非精确的数字结果。

(2)学习问题

4.前馈神经网络及反向传播学习算法

前馈神经网络多采用反向传播学习算法来进行训练，有时也称为BP网络。

反向传播学习算法(Back Propagation learning algorithm)

基本思路：BP学习算法的学习过程由正向传播和反向传播两部分组成。在正向传播过程中，输入信息从输入层经隐结点单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播过程，将误差信号延原来的连接通路返回，通过修改各层神经元的连接权值，使得误差信号递减至最小。

图来源《人工智能》 马少平

BP算法存在的问题？

(1)存在局部极小问题。

(2)学习算法收敛的速度较慢，尤其是当网络达到一定规模之后。

(3)网络训练结束，正常运行时，采用的是单向传播的方式，没有反馈机制可提供在线学习。

(4)训练样本的顺序有可能影响学习速度和精度，新加入的样本会影响到已经学完的样本。