C1 - week3 - part2 神经网络的表示 Neural Network Representation

本次我们将讨论上一节中神经网络图片的具体含义，也就是我们画的神经网络到底代表什么。

首先，我们关注一个例子，本例中的神经网络只包含一个隐藏层。

我们有输入特征$x_1,x_2,x_3$，它们被竖直地堆叠起来，这叫做神经网络的输入层。它包含了神经网络的输入；包含了四个节点的第二层，我们称之为隐藏层，我们会在后续介绍术语“隐藏”的含义；本例中的最后一层只由一个结点构成，而这个只有一个结点的层称为输出层，它负责产生预测值。

隐藏层的含义：在一个神经网络中，当你使用监督学习训练它的时候，训练集包含了输入$x$也包含了目标输出$y$，所以术语隐藏层的含义是在训练集中，这些中间节点的准确值我们是不知道的，也就是说你看不见它们在训练集中应具有的值。你能看见整个神经网络输入和输出的值，但是隐藏层中的东西，在训练集中你是无法看到的。所以隐藏层的含义，就是表示你无法在训练集中看到它们。

现在我们再引入几个符号，就像我们之前用向量$x$表示输入特征。这里有个可代替的记号$a^{[0]}$可以用来表示输入特征。$a$表示激活（active）的意思，它意味着网络中不同层的值会传递到它们后面的层，输入层将$x$传给隐藏层，所以我们将输入层的激活值成为$a^{[0]}$；下一层即隐藏层也同样会产生一些激活值，我们将其记作$a^{[1]}$，所以具体地，我们将隐藏层的第一个单元（结点）表示为$a_1^{[1]}$，第二个节点记作$a_2^{[1]}$，以此类推。

这里的隐藏层是一格四维的向量，如果写成Python代码，那么它是一格规模为$4\times 1$的矩阵或一个大小为$4$的列向量。在例子中国，我们有四个结点，或者称为四个隐藏层单元；
$$a^{[1]}=\left[\begin{array}{c}{a}_1^{[1]}\\ a_2^{[1]}\\ a_3^{[1]}\\ a_4^{[1]}\end{array}\right]$$
最后输出层将产生某个数值$a$，它只是一个单独的实数，所以$\hat{y}$值将取为$a^{[2]}$。这与逻辑回归很相似，在逻辑回归中，我们有$\hat{y}$直接等于$a$，在逻辑回归中我们只有一个输出层，所 以我们没有用带方括号的上标。

但是在神经网络中，我们将使用这种带上标的形式来明确地 指出这些值来自于哪一层，有趣的是在约定俗成的符号传统中，在这里你所看到的这个例子，只能叫做一个两层的神经网络。原因是当我们计算网络的层数时，输入层是不算入总层数内，所以隐藏层是第一层，输出层是第二层。第二个惯例是我们将输入层称为第零层，所以在技术上，这仍然是一个三层的神经网络，因为这里有输入层、隐藏层，还有输出层。

我们知道，神经网络的隐藏层以及最后的输出层是带有参数的，这里的隐藏层将拥有两个参数$W$和$b$，我将给它们加上上标 ${}^{[1]}$ $(W^{[1]},b^{[1]})$，表示这些参数是和第一层这个隐藏层有关系的。

之后在这个例子中我们会看到$W$是一个 4x3 的矩阵，而$b$是一个 4x1 的向量，第一个数字 4 源自于我们有四个结点或隐藏层单元，然后数字 3 源自于这里有三个输入特征，我们之后会更加详细地讨论这些矩阵的维数，到那时你可能就更加清楚了。

相似的输出层也有一些与之关联的参数$W^{[2]}$以及$b^{[2]}$。从维数上来看，它们的规模分别是 1x4 以及 1x1。1x4 是因为隐藏层有四个隐藏层单元而输出层只有一个单元，之后我们会对这些矩阵和向量的维度做出更加深入的解释，所以现在你已经知道一个两层的神经网络什么样的了，即它是一个只有 一个隐藏层的神经网络。

在下一节，我们将更深入地了解这个神经网络是如何进行计算的，也就是这个神经网络是怎么输入𝑥，然后又是怎么得到$\hat{y}$。