深度学习——day33 class1 week4 深层神经网络

4.1 深层神经网络

4.1.1 Deep neural network notation

al 等于预测输出，w:权重 ，b：python中的广播

4.2 深层网络中的向前传播

tips：

• 输入层是第 0 层，A ^ [0] = X
• 每一层的输出 z^ [n] = 这一层的参数w^ [n] * 前一层的激活函数 a^ [n-1] + 这一层的偏置向量 b^ [n]
• 最后y’ = g^ [4] (Z ^ [4]) = A ^ [4]
• 目前只能显式的使用for循环来计算
  

4.3 核对矩阵的维数

4.3.1 W矩阵维度 计算如图所示：

因此，以此类推可以求出w ^ [1,2,3,4,5…] 的维度

总结

• w，b，dw，db 的维度应该相同

4.3.2 Vectorized implementation

不考虑b

**考虑 b **

矩阵计算前后维数：帮助排查bug

4.4 为什么使用深层表示

4.4.1 Intuition about deep representation

前几层识别的是简单的特征，组合起来深度学习才能识别整个脸部

4.4.2 Circuit theory and deep learning

• Informally: There are functions you can compute with a “small”L-layer deep neural network that shallower networksrequire exponentially more hidden units to compute.
  左边是多层，右边是单层；时间复杂度相差很大
  

4.5 搭建深层神经网络块

4.5.1 Forward and backward functions

缓存：

方框内是计算用的参数，红色箭头为反向传播

4.5.2 NN的一个梯度下降循环

神经网络计算过程：蓝色：正想向，红色：反向，绿色：总过程
cash：缓存

4.6 前向和反向传播

4.6.1 Forward propagation for layer l

4.6.2 Backward propagation for layer l

左边是等式及其含义；右边是向量化表示

4.6.3 Summary

dA是向量化

4.7 参数 VS 超参数

4.7.1 什么是超参数

从某种程度上最终决定w和b的参数，会在class2 有所提及

4.7.2 Applied deep learning is a veryempirical process

先尝试一个超参数，试验后观察损失是否下降，然后再调整，try try try again!

4.8 这和大脑有什么关系？

logistic回归，这种类比已经过时