1.4 深层神经网络

1 从logistics 回归到浅层神经网络再到深层神经网络的结构图

我们一般无法确定用几层可以最好的拟合，所以我们不妨先试一下logistics回归，再试试一层、二层…神经网络。
符号规定

2 前向传播和反向传播

2.1 前向传播

2.2 反向传播

2.3 求解的总体步骤

以三层神经网络为例

其中图片右侧计算da^[l]的等式是在使用logistics回归做二分类时才成立的。
用向量化的方法实现反向传播：

3 实际操作的技巧与思考

3.1 矩阵维数核对

在编写多层神经网络代码时，最有效的debug方法就是核对每一层运算的矩阵维数，其中截距项b在向量化表达中可以利用python中的广播功能，将其赋值为n*1维向量就可以

3.2 为什么使用深层网络能得到较好的结果

实际上神经网络的每一层都有不同的检测功能，并且随着层数的深入，检测到的特征将更具体，比如在一个语音识别系统中，神经网络第一层检测的可能是低层次的音频波形特征，如音调的高低，分辨白噪音；第二层检测的可能是发声的基本单元，即音位；第三层可能检测的是单词；第四层检测的可能是完整的句子：

下图是一个人脸识别三层神经网络各层负责识别的特征：

• 并且同样的函数，使用深层神经网络表示所需要的神经元数量比使用浅层神经网络表示需要的神经元数量少

4 参数与超参数

超参数的值是需要自己设置的，这些值其实控制了最后输出参数的值

在一个新的领域运用深度学习、机器学习算法时，不妨先试一试一定范围内的超参数取值，看看结果怎么样。多做尝试，经验丰富后可以找到设定超参数的直觉