《吴恩达深度学习》01神经网络和深度学习（第3周浅层神经网络）

01. 神经网络和深度学习

第三周 浅层神经网络

3.1 神经网络概览

1. $z^{[i]}$表示第i层

3.2 神经网络表示

1. 神经网络的各部分名称
   
   输入层，隐藏层，输出层
2. 在计算神经网络层数时，仅计算隐藏层和输出层，不计算输入层。

3.3 计算神经网络的输出

1. 隐藏层某个节点示意图
   
   $z_1^{[1]}=w_1^{[1]T}x+b_1^{[1]}$
   $a_1^{[1]}=\sigma (z_1^{[1]})$
2. 向量化计算
   $z^{[1]}=w^{[1]T}x+b^{[1]}$
   $a^{[1]}=\sigma (z^{[1]})$

3.4 多个例子中的向量化

1. $a^{[i](j)}$表示第i层第j个样本
2. 令$X=[x^{(1)},x^{(2)},\cdots ,x^{(m)}]$，则向量化的计算公式为：
   $z^{[1]}=w^{[1]}X+b^{[1]}$
   $A^{[1]}=\sigma (z^{[1]})$
   $z^{[2]}=w^{[2]}{A}^{[1]}+b^{[2]}$
   $A^{[2]}=\sigma (z^{[2]})$

3.5 向量化实现的解释

1. $Z^{[1]}=w^{[1]}X$的示意图
   
2. 非向量化代码和向量化代码对比总结
   

3.6 激活函数

1. 激活函数$g(z^{[i]})$
   (1) $tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$几乎总是比sigmoid函数好（除了输出层）
   
   缺点：当$z$很大或很小时，tanh和sigmoid斜率会很小，导致梯度下降法不好使
   (2) ReLu函数$max(0,z)$
   
   缺点：当$z$为负数时，导数为0 $\to$ 带有泄露的ReLu
2. 总结对比
   

3.7 为什么需要非线性激活函数

1. 如果是线性激活函数（或称为恒等激活函数），则输出值为输入值的线性组合。
2. 只有在压缩的相关应用中会在隐藏层使用线性激活函数。

3.8 激活函数的导数

1. sigmoid函数
   $\frac{dg(z)}{dz}=g(z)(1-g(z))$
   优势：如果已经计算出了函数值，即可快速得到导数值
2. tanh函数
   $\frac{dg(z)}{dz}=1-(g(z){)}^2$
   优势：如果已经计算出了函数值，即可快速得到导数值
3. ReLU函数
   $\frac{dg(z)}{dz}=0,z<0$
   $\frac{dg(z)}{dz}=1,z\ge 0$（$z=0$处自行定义）
4. 带有泄露的ReLU函数（$max(0.01z,z)$）
   $\frac{dg(z)}{dz}=0.01,z<0$
   $\frac{dg(z)}{dz}=1,z\ge 0$（$z=0$处自行定义）

3.9 神经网络的梯度下降法

1. 正向传播
   $z^{[1]}=w^{[1]}X+b^{[1]}$
   $A^{[1]}=g^{[1]}(z^{[1]})$
   $z^{[2]} = $
2. 反向传播
   $d{z}^{[2]}=A^{[2]}-Y$
   $d{w}^{[2]}=\frac{1}{m}d{z}^{[2]}{A}^{[1]T}$
   $d{b}^{[2]}=\frac{1}{m}np.sum(d{z}^{[2]},axis=1,keepdims=True)$ （最后一项为保证输出维度为(n,1)，如果没有最后一项，则输出为(n,)）
   $d{z}^{[1]}=w^{[2]T}d{z}^{[2]}\ast g^{[1{]}^{\prime }}(z^{[1]})$
   $d{w}^{[1]}=\frac{1}{m}d{z}^{[1]}{X}^T$
   $d{b}^{[1]}=\frac{1}{m}np.sum(d{z}^{[1]},axis=1,keepdims=True)$

3.11 随机初始化

1. 若零初始化，则意味着节点完全相同，且对输出单元影响完全一样，则更新后，隐藏单元仍然相同，这样的隐藏单元没有意义。
2. 通常意义下的初始化：
   $w^{[1]}=np.random.randn((2,2))\ast 0.01$
   $b^{[1]}=np.zeros((2,1))$
3. 常数需要设置较小，因为若是sigmoid或tanh函数，则太大的时候会梯度小，收敛慢。