【知识点整理】反馈神经网络

相关参考申明

课程链接：https://edu.aliyun.com/course/1923

神经网络算法详解 04：反馈神经网络（Hopfield、BAM、BM、RBM）

如有侵权，请联系删除。

基于课程资料的相关整理，进行个人总结记录，以便后续记忆。

1 前馈神经网络——FeedForwardNN

一种最简单的神经网络，采用单向多层结构、各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出并输出给下一层，各层间没有反馈。

输入层和输出层是必要的，隐藏层可有可无→单/多层感知器。

前馈网络包括三类节点

• 输入节点（lnputNodes）：外界信息输入，不进行任何计算，仅向下一层节点传递信息
• 隐藏节点（HiddenNodes）：接收上一层节点的输入，进行计算，并将信息传到下一层节点
• 输出节点（OutputNodes）：接收上一层节点的输入，进行计算，并将结果输出

2 反馈神经网络 ——FeedBackNN

又称递归网络、回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神经网络、Elman神经网络、Boltzmann机等。

小结 

前馈神经网络与反馈神经网络的区别

	前馈神经网络	反馈神经网络
神经元	各层神经元无连接 单纯上传下达，正向流动	层间神经元有连接 数据可以在同层流动或反馈至前层
时间	不考虑输出与输入在时间上的滞后效应 只表达输出与输入的映射关系	考虑输出与输入之间在时间上的延迟 需要动态方程来描述系统的模型
计算	主要采用误差修止法（如BP算法） 计算过程一般比较慢 收敛速度也比较慢	主要采用Hebb学习规则 一般情况下计算的收敛速度很快
优势	相比前馈神经网络，反馈神经网络更适合应用在联想记忆和优化计算等领域