神经网络模型的分类
按照拓扑结构分
层次结构
- 单纯层次结构
- 层内有互连
- 输出层到输入层有连接
互连结构
- 全互连:每个节点都和其他所有节点连接
- 局部互连:每个节点只与其临近节点有连接
- 稀疏连接:节点只与少数相距较远的节点有连接
按照信息流向分
前馈型网络
网络信息从输入层到各隐藏层再到输出层逐层前进。比如上面的单纯层次结构。
前馈神经网络(FeedForward NN):是一种最简单的神经网络,采用单向多层结构,各神经元分层排列,每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层,各层间没有反馈。
前馈网络包括三类节点:
- 输入节点(Input Nodes):外界信息输入,不进行任何计算,仅向下一层节点传递信息
- 隐藏节点(Hidden Nodes):接收上一层节点的输入,进行计算,并将信息传到下一层节点
- 输出节点(Output Nodes):接收上一层节点的输入,进行计算,并将结果输出
输入层和输出层必须有,隐藏层可以没有,没有隐藏层即为单层感知器。隐藏层也可以不止一层,有隐藏层的前馈网络即为多层感知器。
反馈型网络
反馈网络中所有节点都具有信息处理功能,并且每个节点既可以接收输入同时又可以进行输出。比如上面的全互连结构。
反馈神经网络(FeedBackNN):又称递归网络、回归网络,是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中,神经元可以互连,有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神经网络、Elman神经网络、Boltzmann机等。
前馈神经网络 VS 反馈神经网络
- 前馈神经网络各层神经元之间无连接,神经元只接受上层传来的数据,处理后传入下一层,数据正向流动
- 反馈神经网络层间神经元有连接,数据可以在同层间流动或反馈至前层
- 前馈神经网络不考虑输出与输入在时间上的滞后效应,只表达输出与输入的映射关系
- 反馈神经网络考虑输出与输入之间在时间上的延迟,需要用动态方程来描述系统的模型
- 前馈神经网络的学习主要采用误差修正法(如BP算法),计算过程一般比较慢,收敛速度也比较慢
- 反馈神经网络主要采用Hebb学习规则,一般情况下计算的收敛速度很快
- 相比前馈神经网络,反馈褲经网络更适合应用在联想记忆和优化计算等领域