吴恩达深度学习笔记4-Course1-Week4【深层神经网络】

深层神经网络（DNN）:

---

一、深层神经网络

4层的神经网络：

---

二、前向与反向传播

前向 (forward propagation):

反向 (backward propagation):

notation:
n[l]：第l层的unit个数
W[l]：(n[l] , n[l−1])
b[l]：(n[l] , 1)
dW[l]：(n[l] , n[l−1])
db[l]：(n[l] , 1)

single example:
x：(n[0] , 1)
z[l]：(n[l] , 1)
a[l]=z[l]=dz[l]：(n[l] , 1)

multiple example:
x：(n[0] , m)
Z[l]：(n[l] , m)
A[l]=Z[l]=dZ[l]=dA[l]：(n[l] , m)

---

三、参数与超参数

参数（parameters）：
训练网络得到的模型参数用于预测：W[l]，b[l]

超参数（hyperparameters）：
训练网络过程中所需要的的参数，超参数某种程度上决定着模型的参数 W[l]，b[l] 的最终结果。

学习速率：α
迭代次数：N
隐藏层的层数：L
每一层的神经元个数：n[1]，n[2],⋯
激活函数g(z)的选择