前馈神经网络（二 网络结构）

声明：

1. 本文是博主在学习前馈神经网络时的笔记，仅供学术交流、非商用。内容可能涉及一些大佬的资料（包含网上电子的和实体书籍等），由于学习工程中查阅的资料多而杂，所以每一部分具体的参考资料并没有详细对应，如有侵权，还望海涵，并联系博主删除。
2. 本人才疏学浅，笔记中难免存在不当和错误之处，还望各位读者海涵和指教，不胜感激。

二、网络结构

        对神经元进行有机的结合并相互连接，就构成了神经网络模型，目前常用的神经网络结构有前馈网络、记忆网络和图网络。要注意的是，在实际任务中，大多数网络都是复合性的，即一个神经网络中包含多种神经网络结构。

2.1 前馈网络

        前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下一层。整个网络中的信息是朝同一个方向传播的，各层间没有反馈。前馈神经网络可以看作一个函数，通过简单的非线性函数的多次复合，实现输入空间到输出空间的复杂映射。

前馈网络结构示例（圆形节点表示一个神经元）

2.2 记忆网络

        记忆网络中的神经元不但能接收其他神经元的信息，也可以接受自己的历史信息。与前馈神经网络相比，记忆网络中的神经元具有记忆功能，在不同时刻具有不同的状态。记忆神经网络中的信息传播可以是单向或双向传递。记忆网络可以看作一个程序，具有更强的计算能力。

记忆网络结构示例（圆形节点表示一个神经元）

 2.3 图网络

        图网络是定义在图结构数据（比如知识图谱）上的神经网络。图中每个节点都是由一个或多个神经元构成。节点之间的连接可以是有向的，也可以是无向的。每个节点可以收到来自相邻节点或自身的信息。

图网络结构示例（方形节点表示一组神经元）