3.3神经网络模型

神经网络模型的分类

按照拓扑结构分

层次结构

• 单纯层次结构
• 层内有互连
• 输出层到输入层有连接
  

互连结构

• 全互连：每个节点都和其他所有节点连接
• 局部互连：每个节点只与其临近节点有连接
• 稀疏连接：节点只与少数相距较远的节点有连接
  

按照信息流向分

前馈型网络

网络信息从输入层到各隐藏层再到输出层逐层前进。比如上面的单纯层次结构。
前馈神经网络（FeedForward NN）：是一种最简单的神经网络，采用单向多层结构，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。
前馈网络包括三类节点：

• 输入节点（Input Nodes）：外界信息输入，不进行任何计算，仅向下一层节点传递信息
• 隐藏节点（Hidden Nodes）：接收上一层节点的输入，进行计算，并将信息传到下一层节点
• 输出节点（Output Nodes）：接收上一层节点的输入，进行计算，并将结果输出

输入层和输出层必须有，隐藏层可以没有，没有隐藏层即为单层感知器。隐藏层也可以不止一层，有隐藏层的前馈网络即为多层感知器。

反馈型网络

反馈网络中所有节点都具有信息处理功能，并且每个节点既可以接收输入同时又可以进行输出。比如上面的全互连结构。
反馈神经网络（FeedBackNN）：又称递归网络、回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神经网络、Elman神经网络、Boltzmann机等。

前馈神经网络 VS 反馈神经网络

• 前馈神经网络各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据正向流动
• 反馈神经网络层间神经元有连接，数据可以在同层间流动或反馈至前层
• 前馈神经网络不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系
• 反馈神经网络考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型
• 前馈神经网络的学习主要采用误差修正法（如BP算法），计算过程一般比较慢，收敛速度也比较慢
• 反馈神经网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快
• 相比前馈神经网络，反馈褲经网络更适合应用在联想记忆和优化计算等领域