吴恩达深度学习【听课笔记】__5. 神经网络__

神经网络预览

• 画出如下所示的两层神经网络

• 用中括号上标$[i]$表示神经网络的第几层，用括号上标$(i)$表示第$i$个训练样本。在网络中也拥有计算图中的backward和forward机制，backward就是求偏导计算出$W^{[i]}$和$b^{[i]}$的值。

双层神经网络

• 如下是一个双层神经网络：
  

• 包括输出层、隐藏层(hidden layer)、输出层

• 其中，隐藏层有参数 $W^{[1]}[4,3]$和$b^{[1]}[4,1]$。其中，$[4,3]$是因为有隐藏层有4个神经元，有3个输入值$x$，即，每一个隐藏层的神经元有参数$w^{[1]}[1,3]$和$b^{[1]}[1,1]$。
  $$input=\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right),W_n=\left(\begin{array}{ccc}{w}_1& w_2& w_3\end{array}\right),n\in (1,2,3,4)$$

• 输出层有参数$W^{[2]}[1,4]$和$b^{[2]}[1,1]$，同理，输出层只有一个神经元，但有四个输入值。

双层神经网络的计算

• 对如下双层神经网络列出算式：
  

• 其中每一个$w_n^{[1]}$都是一个$[1,3]$向量
  $$w_1^{[1]}=\left(\begin{array}{c}{w}_1\\ w_2\\ w_3\end{array}\right),x=\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right),b=b_1$$
  $$z_1^{[1]}=w_1^{[1]T}x+b=\left(\begin{array}{ccc}{w}_1\times x_1+b& w_2\times x_2+b& w_3\times x_3+b\end{array}\right)$$

• 如果将四个神经元组合在一起，$z^{[1]}$就是一个$[4,3]$的矩阵
  $$z^{[1]}=\left(\begin{array}{ccc}{w}_1^{[1]}\times x_1+b^{[1]}& w_2^{[1]}\times x_2+b^{[1]}& w_3^{[1]}\times x_3+b^{[1]}\\ w_1^{[2]}\times x_1+b^{[2]}& w_2^{[2]}\times x_2+b^{[2]}& w_3^{[2]}\times x_3+b^{[2]}\\ w_1^{[3]}\times x_1+b^{[3]}& w_2^{[3]}\times x_2+b^{[3]}& w_3^{[3]}\times x_3+b^{[3]}\\ w_1^{[4]}\times x_1+b^{[4]}& w_2^{[4]}\times x_2+b^{[4]}& w_3^{[4]}\times x_3+b^{[4]}\end{array}\right)$$

向量化

• 有下列代码实现：
  

• 向量化去掉for循环

• 前面已经定义了向量化的参数：
  $$w^{[1]}=\left(\begin{array}{c}{w}_1\\ w_2\\ w_3\end{array}\right),x=\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right),b=b_1$$
  $$z_1^{[1]}=w_1^{[1]T}x+b=\left(\begin{array}{cccc}{w}_1\times x_1+b& w_2\times x_2+b& w_3\times x_3+b& w_4\times x_3+b\end{array}\right)$$
  $$z^{[1]}=\left(\begin{array}{ccc}{w}_1^{[1]}\times x_1+b^{[1]}& w_2^{[1]}\times x_2+b^{[1]}& w_3^{[1]}\times x_3+b^{[1]}\\ w_1^{[2]}\times x_1+b^{[2]}& w_2^{[2]}\times x_2+b^{[2]}& w_3^{[2]}\times x_3+b^{[2]}\\ w_1^{[3]}\times x_1+b^{[3]}& w_2^{[3]}\times x_2+b^{[3]}& w_3^{[3]}\times x_3+b^{[3]}\\ w_1^{[4]}\times x_1+b^{[4]}& w_2^{[4]}\times x_2+b^{[4]}& w_3^{[4]}\times x_3+b^{[4]}\end{array}\right)$$

• 同样将$a$向量化:
  a [ 1 ] = { σ ( z 1 [ 1 ] ) σ ( z 2 [ 1 ] ) σ ( z 3 [ 1 ] ) σ ( z 4 [ 1 ] ) } a^{[1]}=\begin{matrix}\{\sigma(z_1^{{[1]}}) & \sigma(z_2^{{[1]}}) & \sigma(z_3^{{[1]}})&\sigma(z_4^{{[1]}})\}\end{matrix} a[1]={σ(z1[1]​)​σ(z2[1]​)​σ(z3[1]​)​σ(z4[1]​)}​

• 第一层（隐藏层）的可以简化为：
  $$z^{[1]}=w^{[1]T}x+b$$
  $$a^{[1]}=\sigma (z^{[1]})$$

• 同理，向量化第二层（输出层）的参数并简化计算：
  $$w^{[2]}=\begin{array}{cccc}(w_1& w_2& w_3& w_4)\end{array}$$

$$z^{[2]}=w^{[2]}\times a^{[1]}+b$$
$$a^{[2]}=\sigma (z^{[2]})$$

激活函数

• 在前面的例子中，都隐藏层和输出层中都是用了$sigmoid$函数，但实践中，$sigmoid$通常只用于二分分类的输出层
• 其他常见的激活函数：

1. $tanh$函数：
   $$tanh=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$
   

我们在隐藏层中通常用此函数代替$sigmoid$，但$tanh$同样存在缺点，当$z$值过大和过小时，$tanh$的导数会接近0，这会拖慢梯度下降的速度。所以比$tanh$更常用的是$ReLu$函数。

2. $ReLu$函数:
$$ReLu=max(0,z)$$

修正线性单元（rectified linear unit）是一个很简洁的函数，在把负值换成0，正值并不变。如果你不知道用什么函数，那你可以用这个函数。


3. $leaklyReLu$函数：
$$leaklyReLu=max(0.01\times z,z)$$

这是ReLu的修改版，去掉了负值为0的情况。

激活函数的作用

• 简单的说，在某些场景中可以不使用激活函数，或者使用线性的激活函数（即输出值等于输入值，不对输入值进行改变）。但在绝大多数场景中，我们需要激活函数（准确的说是非线性激活函数）使计算出的数据更加多样（原话说的是‘interesting’）。

sigmoid、tanh、ReLu求导

1. sigmoid
   $$\sigma =\frac{1}{1+e^{-z}}$$
   $$\frac{d\sigma }{dz}=\frac{1}{(1+e^{-z}{)}^2}\times e^{-z}=\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})$$
   $$\frac{d\sigma }{dz}=\sigma \times (1-\sigma )$$

2. tanh
   $$tanh=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

$$\frac{d}{dz}tanh=\frac{(e^z+e^{-z})\times (e^z+e^{-z})-(e^z-e^{-z})\times (e^z-e^{-z})}{(e^z+e^{-z}{)}^2}$$

$$\frac{d}{dz}tanh=1-(tanh(z){)}^2$$

3. ReLu
   $$ReLu=max(0,z)=\{\begin{array}{ll}0,& \text{z < 0}\\ z,& \text{z > 0}\end{array}$$
   $$\frac{d}{dz}ReLu=\{\begin{array}{ll}0,& \text{z < 0}\\ 1,& \text{z > 0}\end{array}$$

4. ReLu
   $$ReLu=max(0.01\times z,z)=\{\begin{array}{ll}0.01\times z,& \text{z < 0}\\ z,& \text{z > 0}\end{array}$$
   $$\frac{d}{dz}ReLu=\{\begin{array}{ll}0.01,& \text{z < 0}\\ 1,& \text{z > 0}\end{array}$$

神经网络的梯度下降

• 假设网络有如下参数：
  $$w^{[1]},b^{[1]},w^{[2]},b^{[2]}$$
• 有输入值如下所示：（分别对应输入层、隐藏层、输出层）
  $$n_x=n^{[0]},n^{[1]},n^{[2]}=1$$
• 有成本函数如下：
  $$J(w^{[1]},b^{[1]},w^{[2]},b^{[2]})=\frac{1}{m}\sum _{i=1}^{n}L(\hat{y},y)$$
• 重复以下梯度下降过程：
  1. 计算损失函数：（预测值-真实值）
  2. 计算参数的偏导：$d{w}^{[1]}=\frac{dJ}{d{w}^{[1]}},d{b}^{[1]}=\frac{dJ}{d{b}^{[1]}}$
  3. 更新参数：$w^{[1]}:=w^{[1]}-\alpha d{w}^{[1]},b^{[1]}:=b^{[1]}-\alpha d{b}^{[1]}$…

前向传播

$$z^{[1]}=w^{[1]}x+b^{[1]}$$
$$A^{[1]}=g^{[1]}(z^{[1]})$$
$$z^{[2]}=w^{[2]}{A}^{[1]}+b^{[2]}$$
$$A^{[2]}=g^{[2]}(z^{[2]})=\sigma (z^{[2]})$$

• 在前向传播后并不是立刻进行反向传播的，要先计算损失函数的损失值，之后通过损失函数进行反向传播：
  $$J(W,b)=L(a,Y)=-y\log a-(1-y)log(1-a)$$
  其中$Y=$整个数据集的所有真实值

反向传播

• 反向传播即根据计算图，求出a,z,w,b的偏导
  

• 计算$a$的偏导：
  $$da=\frac{d}{da}L(a,y)=-\frac{y}{a}+\frac{1-y}{1-a}$$

• 计算$z$的偏导：
  $$dz=\frac{d}{dz}L(a,y)=\frac{dL(a,y)}{da}\frac{da}{dz}=da\times \sigma (z{)}^{\prime }=da\times a\times (1-a)$$
  $$dz=(-\frac{y}{a}+\frac{1-y}{1-a})\times a\times (1-a)$$
  $$dz=-y\times (1-a)+a\times (1-y)=ay-y+a-ay$$
  $$dz=a-y$$

• 计算$dw$的偏导：
  $$dw=\frac{dL(a,y)}{dw}=\frac{dL(a,y)}{dz}\times \frac{dz}{dw}=(a-y)\times x$$

• 计算$db$的偏导：
  $$db=\frac{dL(a,y)}{db}=\frac{dL(a,y)}{dz}\times \frac{dz}{db}=(a-y)\times 1$$

• 以上计算图是只有一层的情况，现在多增加一层：
  

• 计算$d{a}^{[2]}$:
  $$d{a}^{[2]}=\frac{dL(a^{[2]},y)}{d{a}^{[2]}}=-\frac{y}{a^{[2]}}+\frac{1-y}{1-a^{[2]}}$$

• 计算$d{z}^{[2]}$:
  $$d{z}^{[2]}=\frac{dL(a^{[2]},y)}{d{a}^{[2]}}\times \frac{d{a}^{[2]}}{d{z}^{[2]}}=d{a}^{[2]}\times \sigma (z^{[2]}{)}^{\prime }$$

• 计算$d{w}^{[2]}$:
  $$d{w}^{[2]}=\frac{dJ(a^{[2]},y)}{d{z}^{[2]}}\times \frac{d{z}^{[2]}}{d{w}^{[2]}}=d{z}^{[2]}\times x^{[2]}=d{z}^{[2]}\times a^{[1]}$$

• 计算$d{b}^{[2]}$:
  $$d{b}^{[2]}=\frac{dJ(a^{[2]},y)}{d{z}^{[2]}}\times \frac{d{z}^{[2]}}{d{b}^{[2]}}=d{z}^{[2]}$$

• 计算$d{a}^{[1]}$:
  $$d{a}^{[1]}=\frac{dJ(a^{[2]},y)}{d{z}^{[2]}}\times \frac{d{z}^{[2]}}{d{a}^{[1]}}=d{z}^{[2]}\times \frac{d(w^{[2]}\times a^{[1]}+b^{[2]})}{d{a}^{[1]}}=d{z}^{[2]}\times w^{[2]}$$

• 计算$d{z}^{[1]}$:
  （$d{z}^{[2]}$和$d{z}^{[1]}$都是由损失函数$L(a^{[2]},y)$进行推导的）
  $$d{z}^{[1]}=\frac{dL(a^{[2]},y)}{d{z}^{[1]}}=\frac{dL(a^{[2]},y)}{d{z}^{[2]}}\frac{d{z}^{[2]}}{d{a}^{[1]}}\frac{d{a}^{[1]}}{d{z}^{[1]}}=d{z}^{[2]}\times w^{[2]}\times \sigma (z^{[1]}{)}^{\prime }$$

• 计算$d{w}^{[1]}$:
  $$d{w}^{[1]}=\frac{d{a}^{[1]}}{d{z}^{[1]}}\times \frac{d{z}^{[1]}}{d{w}^{[1]}}=d{z}^{[1]}\times x$$

• 计算$d{b}^{[1]}$:
  $$d{b}^{[1]}=\frac{d{a}^{[1]}}{d{z}^{[1]}}\times \frac{d{z}^{[1]}}{d{b}^{[1]}}=d{z}^{[1]}\times 1=d{z}^{[1]}$$

反向传播的向量化

• 将多个$d{z}^{[2]}$、$a^{[2]}$以及真实值$y$叠加在一起:
  $$d{Z}^{[2]}=\begin{array}{ccc}(z^{[1]}& ...& z^{[n]})\end{array}$$
  $$d{A}^{[2]}=\begin{array}{ccc}(a^{[1]}& ...& a^{[n]})\end{array}$$
  $$Y=\begin{array}{ccc}(y^{[1]}& ...& y^{[n]})\end{array}$$
  于是有了向量化的$d{z}^{[2]}$:
  $$d{Z}^{[2]}=A^{[2]}-Y$$

• 向量化$dw$:
  $$d{W}^{[2]}=\frac{1}{m}d{Z}^{[2]}{A}^{[1]}$$
  因为采用的是批次梯度下降（把整个训练集全都遍历过一次后才更新一次$W$），所以每次更新使用的$d{W}^{[2]}$采取所有训练样本的平均值

• 向量化$d{b}^{[2]}$
  $$d{B}^{[2]}=\frac{1}{m}\sum _{i=1}^m{b}_i^{[2]}=\frac{1}{m}\sum _{i=1}^m{Z}_i^{[2]}$$

• 向量化$d{Z}^{[1]}$
  $$d{Z}^{[1]}=W^{[2]}\times d{Z}^{[2]}\times \sigma (Z^{[1]}{)}^{\prime }$$

• 向量化$d{w}^{[1]}$和$d{b}^{[1]}$
  $$d{W}^{[1]}=\frac{1}{m}d{Z}^{[1]}X$$
  $$d{b}^{[1]}=\frac{1}{m}\sum _{i=1}^{m}d{Z}_i^{[1]}$$

随机初始化

• 如果参数的初值设为0，那隐藏层的多个隐藏单元计算出的数据全都是一样的，参数更新也会相同，这会使多个隐藏单元的设计变得无用，拖慢梯度下降的速度。
• 通常会将参数初始化为一个很小的值，例如：

w=np.random.randn((2,2))*0.01

• 如果使用的是$tanh$函数，如果将参数设置的非常大，会使输出值落在$tanh$的最右边或者最左边，也就是$tanh$变化非常平缓的部分，这并不利于后续计算。在单层网络中，0.01是一个很合适的值，但网络不同，这个数值也要相应的调整。