神经网络及深度学习-神经网络结构(6)

下一章我会介绍神经网络可以完美完成手写数字分类的工作。作为准备，介绍一些名词对此是有帮助的，假设我们拥有这样的一个神经网络。

就像上面说到的那样，网络最左边的层被称为输入层，其中的神经元被称为输入神经元，最右边的层或输出层包含着输出神经元。中间的层被称为隐藏层，因为他既不是输入，也不是输出。不要对隐藏层感到害怕，这只是表示它既不是输入也不是输出。这个网络中仅仅拥有一个隐藏层，但是一些神经网络拥有多个隐藏侧。举例子，下面的4层网络拥有2层隐藏层。

由于一些历史原因，像这样的多层网络有时候会被称为多层感知机(multilayer perceptrons,MLP)，尽管他是由sigmoid神经元组成的。我不会用MLP这种名词，我觉得这是让人困扰的，我只是想提示一下你。
网络中输入和输出层的设计通常很简单。例如，假设我们试图确定一个手写的图像是否描绘了“9”。设计网络的一个自然方法是将图像像素的强度输入到神经元中。如果图像是64×64大小灰度图像，则有4096=64×64个输入神经元，强度在0到1之间。输出层只包含一个神经元，输出值小于0.5表示“输入图像不是9”，值大于0.5表示“输入图像是9”。
虽然神经网络的输入和输出层的设计通常是直截了当的，但隐层的设计却有相当的艺术性。特别是，用一些简单的经验法则来总结隐藏层的设计过程是不可能的。相反，神经网络研究人员为隐藏层开发了许多设计启发式算法，帮助人们从他们的网络中获得他们想要的行为。例如，此类启发式方法可用于帮助确定如何将隐藏层的数量与训练网络所需的时间进行权衡。在本书的后面，我们将遇到几种这样的设计启发式方法。
到目前为止，我们一直在讨论神经网络，其中一层的输出被用作下一层的输入。这种网络称为前馈神经网络。这意味着网络中没有循环–信息总是向前传递，而不是反馈。如果我们确实有循环，那么最终会出现 $\sigma$函数的输入依赖于输出的情况。这很难理解，所以我们不允许这样的循环。
然而，也有其他的人工神经网络模型，其中反馈回路是可能的。这些模型被称为递归神经网络(RNN)。这些模型中的想法是让神经元在静止之前激发有限的时间。这种放电可以刺激其他神经元，这些神经元可能会在一段时间后激发，也会持续一段有限的时间。这会导致更多的神经元产生激发，所以随着时间的推移，我们会得到一连串的神经元被激发。在这样的模型中，循环不会引起问题，因为神经元的输出只会在稍后的某个时间影响其输入，而不是瞬间。
与前馈网络相比，递归神经网络的影响力要小一些，部分原因是递归网络的学习算法(至少到目前为止)没有那么强大。但是递归神经网络仍然是非常有趣的。它们在原理上比前馈网络更接近于我们大脑的工作方式。递归网络有可能解决一些仅靠前馈网络很难解决的重要问题。然而，为了限制我们的范围，在这本书中，我们将集中在更广泛使用的前馈网络。