深度学习笔记之Andrew Ng（4）

WEEK4:
最后一周的内容，讲的还是神经网络部分。但是升级成为了多层的深度神经网络，那么本质上，神经网络的原理还是不变的，那么在加深了神经网络的layer之后，我们在计算上，出现了一些不同。
先上图：

如图我们看到的是一个四层Hidden layer的神经网络，那么这个教程主要围绕如包括四层隐含层的神经网络的创建。

正向传播（Forward propagation）：

如图，正向传播的公式，是把单层的layer变成多层的layer，然后在进行和单层神经网络一样的推导，求出每层每个神经元的值。

逆向传播（Back propagation）：

这里，由于得到的是一个多层的神经网络，把每层都做一次正向传播与逆向传播的代码，显然是比较繁琐的，所以这里面，我们要改进我们的算法结构，如下图：

在这里，我们每计算出一层的w，b与a，就把他们都存在cache中，然后等待下一层神经元的计算，这样正向的计算与逆向的计算就一目了然了，这样，每得到一个y的同时，我们也得到了dw，db和dz，da。方便于计算。


以上两幅图片分别是正向传播中需要用到的参数，和逆向传播中的参数的求解。

超参数（hyperparameter）：
一般来说，w,b等参数，是我们直接上操作的参数，那么还有一些能够影响这些参数的参数，如n，学习率a等，我们称之为超参数。这些在代码中，使用得当，可以使模型表现更好，准确率更高！