吴恩达深度学习1-3深层神经网络

---

一、课程

4.4 矩阵维数

本层w、dw的维数：***w(本层神经元个数，上一层神经元个数) ***

本层z和b、db的维数：b或z(本层神经元个数，1)
若向量化，x输入变成（n,m）,则z、A、dz、dA、b、db也变为（n，m），w和dw不变

4.5 为什么使用深层表示

人脸识别，神经网络第一层的神经元检测提取横向或纵向的轮廓线条和边缘；第二层将第一层学得的边缘特征信息，组合成人脸局部结构，例如眼睛、嘴巴等；再后一层学到该人脸整体特征。

学习过程由整体到局部，由简单到复杂。

语音识别，第一层网络学到发音基本音调c——柯，后面深层的网络可以检测到基本的音素cat，再到单词信息，逐渐加深可以学到短语、句子。

神经网络在处理异或问题有两种结构：1.多隐藏层，小（隐藏单元数目）且深（隐藏层数目）；2.单隐藏层，大（隐藏单元数目）且浅（隐藏层数目）
1.多隐藏层（深度神经网络），每层将前一层的相邻的两单元进行异或，网络为树状，网络的深度为O (log 2 (n))，共使用的神经元的个数为：n−1。即输入个数为n，输出个数为n-1。
2.单隐藏层，需要的神经元个数为 2¹ 个 。同样的问题，深层网络要比浅层网络需要的神经元个数要少得多。

4.6 搭建深度神经网络块

蓝色箭头为前向传播（Forward propagation），红色箭头为反向传播（Backward propagation），绿色箭头为一轮循环过程
计算i层前向传播时，会把i层算出的z、w、b值缓存（cache）起来，等到算i层反向传播时，直接拿出来用

4.2 前向和反向传播

成本函数为损失函数再除以样本量m

给定一些参数：

前向传播（Forward propagation）

反向传播（Backward propagation）

4.7 参数和超参数

参数是我们在过程中想要模型学习到的信息
超参数是为控制参数结果的一些网络信息，也就是超参数的改变会导致最终得到的参数 w、b的改变。

二、代码

---

1. n-1 ↩︎