深度学习基础--不同网络种类--前馈深度网络(feed-forwarddeep networks, FFDN)

深度神经网络可以分为3类：

  1）前馈深度网络(feed-forwarddeep networks, FFDN)
  2）反馈深度网络(feed-back deep networks, FBDN)
  3）双向深度网络(bi-directionaldeep networks, BDDN)

前馈深度网络(feed-forward deep networks, FFDN)

  由多个编码器层叠加而成。
  在这种网络中，信息只沿一个方向流动，从输入单元通过一个或多个隐层到达输出单元，在网络中没有封闭环路。
  指的是网络的信息流是单向的，不会构成环路。它是和“递归网络”(RNN)相对的概念。

  所谓的前馈是相对于循环模型而言的一种分类！

前馈模型的优点

  循环模型似乎是比前馈模型更灵活、更具表现力的模型，毕竟，前馈网络提出了强条件独立性假设，而循环模型并没有加上这样的限制。不过即使前馈模型的表现力较差，仍有几个原因使得研究者可能更倾向于使用前馈网络。

  并行化：卷积前馈模型在训练时更容易并行化，不需要更新和保留隐藏状态，因此输出之间没有顺序依赖关系。这使得我们可以在现代硬件上非常高效地实现训练过程。

  可训练性：训练深度卷积神经网络是深度学习的基本过程，而循环模型往往更难以训练与优化。此外，为了有效并可靠地训练深度前馈网络，开发人员在设计架构和软件开发上已经付出了巨大的努力。

  推理速度：在某些情况下，前馈模型可以更轻量，并且比类似的循环系统更快地执行推理。在其他情况下，特别是对于长序列问题，自回归推理是一个很大的瓶颈，需要大量的工程工作或聪明才智去克服。"

前馈模型的缺点

  一般而言，前馈模型比循环模型表现更差。
  虽然看起来前馈模型的可训练性和并行化是以降低模型准确度为代价的，但是最近有一些例子表明，前馈网络在基准任务上实际上可以达到与循环网络相同的精度。

主流的前馈深度网络

1）多层感知机(multi-layer perceptrons, MLP)

  单层感知机无法解决线性不可分问题(如异或操作)，这一结论将人工神经网络研究领域引入到一个低潮期，直到研究人员认识到多层感知机可解决线性不可分问题，以及反向传播算法与神经网络结合的研究 。

2）卷积神经网络(convolutionalneural networks, CNN)

  一般地，对于音频输入，特征图对应的是一维向量；对于视频或立体影像，对应的是三维数组。
  CNN与传统ANN 算法的主要区别在于权值共享以及非全连接。权值共享能够避免算法过拟合，通过拓扑结构建立层与层间非全连接空间关系来降低训练参数的数目，同时也是CNN的基本思想。

2019年9月11日更正

前馈深度网络不等价于前馈神经网络，而是属于前馈神经网络中的一个大类，前馈深度网络强调的是“深度”。
例如，单层感知器是前馈神经网络，但不是前馈深度网络。多层感知机既是前馈神经网络，又是前馈深度网络。