相关参考申明
课程链接:https://edu.aliyun.com/course/1923
神经网络算法详解 04:反馈神经网络(Hopfield、BAM、BM、RBM)
如有侵权,请联系删除。
基于课程资料的相关整理,进行个人总结记录,以便后续记忆。
1 前馈神经网络——FeedForwardNN
一种最简单的神经网络,采用单向多层结构、各神经元分层排列,每个神经元只与前一层的神经元相连。接收前一层的输出并输出给下一层,各层间没有反馈。
输入层和输出层是必要的,隐藏层可有可无→单/多层感知器。
前馈网络包括三类节点
- 输入节点(lnputNodes):外界信息输入,不进行任何计算,仅向下一层节点传递信息
- 隐藏节点(HiddenNodes):接收上一层节点的输入,进行计算,并将信息传到下一层节点
- 输出节点(OutputNodes):接收上一层节点的输入,进行计算,并将结果输出
2 反馈神经网络 ——FeedBackNN
又称递归网络、回归网络,是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中,神经元可以互连,有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神经网络、Elman神经网络、Boltzmann机等。
小结
前馈神经网络 | 反馈神经网络 | |
神经元 | 各层神经元无连接 单纯上传下达,正向流动 | 层间神经元有连接 数据可以在同层流动或反馈至前层 |
时间 | 不考虑输出与输入在时间上的滞后效应 只表达输出与输入的映射关系 | 考虑输出与输入之间在时间上的延迟 需要动态方程来描述系统的模型 |
计算 | 主要采用误差修止法(如BP算法) 计算过程一般比较慢 收敛速度也比较慢 | 主要采用Hebb学习规则 一般情况下计算的收敛速度很快 |
优势 | 相比前馈神经网络,反馈神经网络更适合应用在联想记忆和优化计算等领域 |