[概念]神经网络的种类（前馈神经网络，反馈神经网络，图网络）

       随着神经网络的不断发展，越来越多的人工神经网络模型也被创造出来了，其中，具有代表性的就是前馈型神经网络模型、反馈型神经网络模型以及图网络.

1.前馈型神经网络模型

      前馈神经网络（Feedforward Neural Network ,FNN），简称前馈网络。

      把每个神经元按接收信息的先后分为不同的组，每一组可以看做是一个神经层。每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元

      整个网络中的信息是朝着一个方向传播的，即输入到输出方向，没有反向的信息传播（和误差反向传播不是一回事）,可用有向无环图表示

      前馈神经网络包括全连接前馈神经网络(FC)和卷积神经网络(CNN)。

      前馈神经网络可以看做是一个函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。

 

2.反馈型神经神经网络

反馈神经网络中神经元不但可以接收其他神经元的信号，而且可以接收自己的反馈信号。

和前馈神经网络相比，反馈神经网络中的神经元具有记忆功能，在不同时刻具有不同的状态。反馈神经网络中的信息传播可以是单向也可以是双向传播，因此可以用一个有向循环图或者无向图来表示。

常见的反馈神经网络包括循环神经网络(RNN)、Hopfield网络和玻尔兹曼机。

而为了进一步增强记忆网络的记忆容量，可以映入外部记忆单元和读写机制，用来保存一些网络的中间状态，称为记忆增强网络，比如神经图灵机。

 

3. 图网络

前馈神经网络和反馈神经网络的输入都可表示为向量或者向量序列，但实际应用中很多数据都是图结构的数据，比如知识图谱、社交网络和分子网络等。这时就需要用到图网络来进行处理。

图网络是定义在图结构数据上的神经网络，图中每个结点都由一个或者一组神经元组成。结点之前的连接可以是有向的，也可以是无向的。每个结点可以收到来自相邻结点或自身的信息。

 

perference

1、深度学习之前馈神经网络（前向传播和误差反向传播