吴恩达深度学习 —— 3.1 神经网络概览

在深入学习技术细节之前，先快速了解一下这一章会学习什么内容。

前面一章我们讨论了逻辑回归，了解了这个模型和流程图之间的联系，如上图。在该流程图中，你需要输入特征x，参数w和b，用于计算z，然后用z计算出a，我们用a同时表示输出$\hat{y}$，接下来就可以计算损失函数Loss。

神经网络就是这样，可以把很多sigmoid单元堆叠起来构成一个神经网络，而之前，这个节点对应两个计算步骤，首先计算出z值，然后计算a值。

在神经网络中，这堆节点对应着像z这样的计算，接着就是类似a的计算；对于后面的节点对应着另一个类似z和a的计算。

因此，稍后我们会使用下面这些记号，首先用x表示输入特征，还有参数W和b，这样就可以算出$z^{[1]}$。我们会使用新的符号，上标方括号1[1]表示与这些节点相关的量，就是所谓的层，用上标方括号[2]表示与另一些节点相关的量，这是神经网络的另一层。这里使用这样的上标方括号的目的是用来区分表示单个训练样本的圆括号。

圆括号是用来表示单个训练样本的，用$x^{(i)}$表示，第i个训练样本，上标方括号[1][2]表示神经网络中不同的层，然后用类似逻辑回归去计算了$z^{[1]}$之后，需要用$sigmoid(z^{[1]})$计算$a^{[1]}$。

接下来使用另外一个线性方程计算$z^{[2]}$，接着计算$a^{[2]}$，$a^{[2]}$就是整个神经网络的最终输出，同时也用$\hat{y}$表示网络的输出，$a^{[2]}$，最后计算损失函数Loss。

在逻辑回归中有反向传播计算，同样在神经网络中也有类似的反向传播