神经网络和深度学习（三）

原创博客，转载请注明出处！

本周讲的是浅层神经网络

1、神经网络概览

我们开始快速浏览一下如何实现神经网络。上周我们讨论了逻辑回归，我们了解了这个模型

而神经网络却需要反复计算z和a，最后计算损失函数L

逻辑回归中，有一些从后向前的计算用来计算导数 da 、 dz 。同样，在神经网络中我们也有从后向前的计算！

 

2、神经网络表示

本节讨论神经网络图片的具体含义

输入特征被竖直地堆叠起来，包含了神经网络的输入，这叫做神经网络的输入层。

最后一层只由一个结点构成，而这个只有一个结点的层被称为输出层，它负责产生预测值。

两者中间的称隐藏层，隐藏层的含义：在一个神经网络中，当你使用监督学习训练它的时候，训练集包含了输入 x 也包含了目标输出 y ，所以术语隐藏层的含义是在训练集中，这些中间结点的准确值我们是不知道到的，也就是说你看不见它们在训练集中应具有的值。你能看见输入的值，你也能看见输出的值，但是隐藏层中的东西，在训练集中你是无法看到的。所以这也解释了词语隐藏层，只是表示你无法在训练集中看到他们。

a表示激活的意思

在这里你所看到的这个例子，只能叫做一个两层的神经网络。原因是当我们计算网络的层数时，输入层是不算入总层数内，所以隐藏层是第一层，输出层是第二层。第二个惯例是我们将输入层称为第零层，所以在技术上，这仍然是一个三层的神经网络，因为这里有输入层、隐藏层，还有输出层。但是在传统的符号使用中，如果你阅读研究论文或者在这门课中，你会看到人们将这个神经网络称为一个两层的神经网络，因为我们不将输入层看作一个标准的层。

 

3、计算神经网络的输出

上标表示神经网络的层数（隐藏层为1），下标表示该层的第几个神经元。这是神经网络的符号惯例

神经网络就是重复很多次逻辑回归

向量化的过程是将神经网络中的一层神经元参数纵向堆积起来

变成

4、多个例子中的向量化

上节了解到如何针对于单一的训练样本，在神经网络上计算出预测值。

这节将会了解到如何向量化多个训练样本，并计算出结果。该过程与你在逻辑回归