【深度学习】第一阶段 —— 第三课

---

声明： 此笔记为吴恩达(Andrew Ng)的深度学习课程学习后的总结，会根据自己的学习进度更新。

---

浅层神经网络

What’s a Nerual Network?

1.多层神经网络计算过程表示

用 [ ] 的上标来表示所在层的参数

            #两层神经网络的计算过程
               for i = 1 to m : 

$$z^{[1](i)}=W^{[}1]x^{(i)}+b^{[1]}$$

$$a^{[1](i)}=\sigma (z^{[1](i)})$$

$$z^{[2](i)}=W^{[}2]x^{(i)}+b^{[2]}$$

$$a^{[2](i)}=\sigma (z^{[2](i)})$$

---

$$X=\left[\begin{array}{cccc}|& |& & |\\ x^{(1)}& x^{(1)}& \cdot \cdot \cdot & x^{(m)}\\ |& |& & |\end{array}\right]\text{\hspace{1em}(1)}$$
$$A^{[1]}=\left[\begin{array}{cccc}|& |& & |\\ a^{[1](1)}& a^{[1](2)}& \cdot \cdot \cdot & a^{[1](m)}\\ |& |& & |\end{array}\right]\text{\hspace{1em}(2)}$$

以上为A和X的矩阵实体化，A的例子为第一层的计算值

2.激活函数(Activation Function )

  (1). Sigmod Activation Function

$$g(z)=\frac{1}{1+e^{-z}}$$

$$g^{\prime }(z)=g(z)\times [1-g(z)]$$

  (2). Tanh Activation Function

$$g(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

$$g^{\prime }(z)=1-g(z{)}^2$$

  (3). ReLu Activation Function

$$g(z)=max(0,z)$$

$$g^{\prime }(z)=\{\begin{array}{ll}0& ifz<0\\ 1& ifz\ge 0\end{array}\text{\hspace{1em}(1.ReLu函数及导数)}$$

$$g(z)=max(0.01\cdot z,z)$$

$$g^{\prime }(z)=\{\begin{array}{ll}0.01& ifz<0\\ 1& ifz\ge 0\end{array}\text{\hspace{1em}(2.Leaky ReLu函数及导数)}$$

3. 神经网络的梯度下降（Gradient descent for neural network

• forward propagation

$$Z^{[1]}=w^{[1]}\cdot X+b^{[1]}$$

$$A^{[1]}=g^{[1]}(Z^{[1]})$$

$$Z^{[2]}=w^{[2]}\cdot A^{[1]}+b^{[2]}$$

$$A^{[2]}=g^{[2]}(Z^{[2]})=\sigma (Z^{[2]})\text{\hspace{1em}(A，Z， X 都已向量化)}$$

• back propagation

  $$d{Z}^{[2]}=A^{[2]}-Y$$

$$d{W}^{[2]}=\frac{1}{m}\cdot d{Z}^{[2]}\cdot A^{[1]T}$$

$$d{b}^{[2]}=\frac{1}{m}\cdot np.sum(d{Z}^{[2]},axis=1,keepdims=true)$$

$$d{Z}^{[1]}=W^{[2]T}\cdot d{Z}^{[2]}\cdot g^{\prime [1]}(Z^{[1]})$$

$$d{W}^{[1]}=\frac{1}{m}\cdot d{Z}^{[1]}\cdot X^T$$

$$d{b}^{[1]}=\frac{1}{m}\cdot np.sum(d{Z}^{[1]},axis=1,keepdims=true)$$

4.参数随机初始化（Random initialization）

    import numpy as np
    
    W^[1] = np.random.randn({2,2}) * 0.01  #0.01就是较为合适的学习率，一般初始化数值都较小，这样梯度下降才能实现
    b^[1] = np.zeros((2,1))
    W^[1] = np.random.randn({2,2}) * 0.01
    b^[2] = 0  #python语法有延展性

第三课编程作业附上 (非本人撰写) ：带有一个隐藏层的平面数据分类