【DL-吴恩达-神经网络与深度学习-03&04】浅层神经网络与深层神经网络

浅层神经网络

神经网络

神经元
神经元：线性运算+非线性运算

神经网络的表示

• 神经网络及符号定义
  • 隐藏层、输出层计入层数，输入层不计入层数，下图的神经网称为两层神经网络或单隐层神经网络
  • 上标方括号内数字表示所在的层数，上标圆括号表示数据，下标表示
    

前向计算

• 单个样本（隐藏层）

  • 分量形式，$x=[x_1,x_2,x_3{]}^T$
    
  • 向量形式，
    $,$
    $$z^{[1]}=W^{[1]}x+b^{[1]},a^{[1]}=\sigma (z^{[1]})$$

• $m$个样本（隐藏层和输出层）

  • 分量形式
    
  • 向量形式
    
    

反向传播

• 单个样本
  根据之前逻辑回归模型中梯度下降的推导，容易写出，
  $$\begin{array}{rl}& d{z}^{[2]}=a^{[2]}-y\\ & d{W}^{[2]}=d{z}^{[2]}{a}^{[1]T}\\ & d{b}^{[2]}=d{z}^{[2]}\end{array}$$
  对于隐藏层，
  $$\begin{array}{rl}& d{z}^{[1]}=d{z}^{[2]}\frac{\partial z^{[2]}}{\partial a^{[1]}}\frac{\partial a^{[1]}}{\partial z^{[1]}}=W^{[2]T}d{z}^{[2]}\ast g^{[1{]}^{\prime }}(z^{[1]})\\ & \\ & d{W}^{[1]}=d{z}^{[1]}{x}^T\\ & d{b}^{[1]}=d{z}^{[1]}\end{array}$$

• 多个样本，向量化
  

随机初始化

权重不可初始化为0

• 对于逻辑回归，把权重初始化为0当然也是可以的。
• 对于一个神经网络，如果你把权重或者参数都初始化为0，那么梯度下降将不会起作用。
  
  如果参数初始化为0，对任何样本，总是有$a_1^{[1]}=a_1^{[1]}$，这两个激活单元就会一样，因为两个隐含单元计算同样的函数，这会导致，当做反向传播计算时，$d{z}_1^{[1]}=d{z}_1^{[2]}$。一次迭代后同样的表达式结果仍然是相同的，即隐含单元仍是对称的，不管训练网络多长时间，隐含单元仍然计算的是同样的函数，因此这种情况下超过1个隐含单元也没什么意义，因为他们计算同样的东西。

随机初始化权重

• $b$没有对称的问题，可以初始化为0
• 乘上一个很小的常数0.01（或其他一个较小的数）将参数初始化为很小的随机数：如果使用tanh或Sigmoid函数，当$W$很大时，$z$就会很大，这种情况可能会停在tanh/Sigmoid函数的平坦地方（梯度很小）。

激活函数

几种激活函数
1. Sigmoid函数
$$g(z)=\sigma (z)=\frac{1}{1-e^{-z}}$$

• 导数
  $$g^{\prime }(z)=\frac{\partial }{\partial z}g(z)=g(z)(1-g(z))$$
  当$z=10$时，$g(z)\approx 1$，$g^{\prime }(z)\approx 0$；当$z=-10$时，$g(z)\approx 0$，$g^{\prime }(z)\approx 0$；当$z=0$时，$g(z)=\frac{1}{2}$，$g^{\prime }(z)=\frac{1}{4}$
• 除了二分类场景，现在几乎不用Sigmoid函数
• 缺点：当$z$很大或很小时，导数趋于0，梯度下降效率低

2. tanh函数
$$g(z)=tanh(z)=\frac{e^z-e^{-z}}{e^z-e^{-z}}$$

• 导数
  $$g^{\prime }(z)=1-g(z{)}^2$$
  $$g^{\prime }(z)=\frac{\partial }{\partial z}g(z)=g(z)(1-g(z))$$
  当$z=10$时，$g(z)\approx 1$，$g^{\prime }(z)\approx 0$；当$z=-10$时，$g(z)\approx -1$，$g^{\prime }(z)\approx 0$；当$z=0$时，$g(z)=0$，$g^{\prime }(z)=1$
• tanh函数几乎Sigmoid函数好
• tanh函数介于-1到1之间，平均值为0，相当于总是将数据中心化为0
• 缺点：当$z$很大或很小时，导数趋于0，梯度下降效率低

3. ReLU函数
$$a=max(0,z)$$

• 导数
  $$g^{\prime }(z)=\{\begin{array}{l}0,z<0\\ 1,z>0\\ undefined,z=0\end{array}$$
• $z<0$时导数为0，$z>0$时导数为1，$z=0$处不可导，可为其赋值，如0或1
• 现经常使用

4. ReLU函数
$$a=max(0.01z,z)$$

• 导数
  $$g^{\prime }(z)=\{\begin{array}{l}0.01,z<0\\ 1,z>0\\ undefined,z=0\end{array}$$
• $z<0$时导数较小，为0.01，$z>0$时导数较大，为1，$z=0$处不可导，可为其赋值，如0或1
• 通常比ReLU好，但实际中较少使用

为什么需要非线性的激活函数

• 如果隐藏层均采用线性激活函数，无论多少层，无论每层多少个神经单元，一直做的都是线性运算，最终做的也是线性运算，相当于没有隐藏层，因此，不能在隐藏层使用线性激活函数。
• 只有一种情形可以使用线性激活函数：回归问题的输出层

编程作业：带有一个隐藏层的平面数据分类

深层神经网络

符号定义

• $L$：神经网络的层数（不包括输入层），$L=4$
• $n^{[l]}$：第$l$层的神经元个数，输入层为第0层，$n^{[0]}=n_x=3,n^{[1]}=5,n^{[2]}=5,n^{[3]}=3,n^{[4]}=n^{[L]}=1$
• $a^{[l]}=g^{[l]}(z^{[l]})$：第$l$层的激活函数
• $w^{[l]},b^{[l]}$：$z^{[l]}$的权重、偏置

前向传播Forward propagation

• 单个样本的某一层：Input：$a^{[l-1]}$，output：$a^{[l]}$，cache：$z^{[l]}(w^{[l]},b^{[l]})$
  $\forall l\in L$
  $$\begin{array}{rl}& z^{[l]}=w^{[l]}{a}^{[l-1]}+b^{[l]}\\ & a^{[l]}=g^{[l]}(z^{[l]})\end{array}$$
• 整个训练集，向量化
  
  $$\begin{array}{rl}for& l=1toL:\\ & Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}\\ & A^{[l]}=g^{[l]}(Z^{[l]})\\ \hat{Y}=& A^{[L]}\end{array}$$

反向传播

• 单个样本的某一层：Input：$d{a}^{[l]}$，output：$d{a}^{[l-1]},d{w}^{[l]},d{b}^{[l]}$
  $\forall l\in L$
  $$\begin{array}{rl}& d{z}^{[l]}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]})\\ & d{w}^{[l]}=d{z}^{[l]}{a}^{[l-1]}\\ & d{b}^{[l]}=d{z}^{[l]}\\ & d{a}^{[l-1]}=w^{[l]T}d{z}^{[l]}\end{array}$$
• 整个训练集，向量化（层之间没有办法向量化，要用for循环）
  $$\begin{array}{rl}& d{Z}^{[l]}=d{A}^{[l]}\ast g^{[l{]}^{\prime }}(Z^{[l]})\\ & d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}{A}^{[l-1]}\\ & d{b}^{[l]}=\frac{1}{m}np.sum(d{Z}^{[l]},axis=1,keepdims=True)\\ & d{A}^{[l-1]}=W^{[l]T}d{Z}^{[l]}\end{array}$$

核对矩阵的维数
帮助检查代码正确性。

• $W^{[l]}$：$(n^{[l]},n^{[l-1]})$
• $b^{[l]}$：$(n^{[l]},1)$
• $d{W}^{[l]}$：$(n^{[l]},n^{[l-1]})$
• $d{b}^{[l]}$：$(n^{[l]},1)$
• $z^{[l]},a^{[l]}$：$(n^{[l]},1)$
• $Z^{[l]},A^{[l]}$：$(n^{[l]},n^{[l-1]})$
• $d{Z}^{[l]},d{A}^{[l]}$：$(n^{[l]},n^{[l-1]})$

搭建深层神经网络块

• 第$l$层
  
• 整个网络的一次正向传播与反向传播
  

为什么使用深层表示

• 每层神经网络的数学理解：用线性变换跟随着非线性变化，将输入空间投向另一个空间；
• 每层神经网络的物理理解：通过现有的不同物质的组合形成新物质。

1. 人脸识别情景

由像素组成菱角再组成五官最后到不同的人脸。每一层代表不同的不同的物质层面 (如分子层)。而每层的W存储着如何组合上一层的物质从而形成新物质。可以先把神经网络的第一层当作看图，然后去找这张照片的各个边缘。我们可以把照片里组成边缘的像素们放在一起看，然后它可以把被探测到的边缘组合成面部的不同部分

• 物质组成视角：神经网络的学习过程就是学习物质组成方式的过程。
• 增加节点数：增加同一层物质的种类，比如118个元素的原子层就有118个节点。
• 增加层数：增加更多层级，比如分子层，原子层，器官层，并通过判断更抽象的概念来识别物体。

深层学习为何要“Deep”

2. 电路理论

• 当使用浅网络计算时，需要一个大网络（通过网络中的逻辑门数量来度量大小）
  • 根据不同的基本逻辑门，譬如与门、或门、非门。在非正式的情况下，这些函数都可以用相对较小，但很深的神经网络来计算，小在这里的意思是隐藏单元的数量相对比较小；
  • （左图）假设要对输入特征计算异或或是奇偶性，$x_{1}XOR{x}_{2}XOR...XOR{x}_n$，如果你画一个异或的树图，先要计算$x_1$，$x_2$的异或，然后是$x_3$和$x_4$，……，这种树图对应网络的深度应该是$O(log(n))$；
• 当使用深网络来计算时，只需要一个指数级小的网络
  • 如果用浅一些的神经网络计算同样的函数，也就是说在不能用很多隐藏层时，但是需要成指数增长的单元数量才能达到同样的计算结果。
  • （右图）如果只能用单隐层来计算的话，这就需要隐藏层的单元数呈指数增长才行，因为本质上来说需要列举$2^n$种可能。

参数与超参数

• 超参数某种程度上决定了最终得到的参数
  • 参数：$W^{[1]},b^{[1]},W^{[2]},b^{[2]},W^{[3]},b^{[3]}\dots \dots$
  • 超参数：学习率$\alpha$，梯度下降法循环的次数iteration，隐藏层数目L，隐藏层单元数目$n^{[l]}$，激活函数的选择
• 超参数的选择
  • 今天的深度学习应用领域，还是很经验性的过程。应用深度学习领域，一个很大程度基于经验的过程，凭经验的过程通俗来说，就是试直到你找到合适的数值；
  • 参数设定这个领域，深度学习研究还在进步中，所以可能过段时间就会有更好的方法决定超参数的值；
  • 近来受深度学习影响，很多领域发生了变化，从计算机视觉到语音识别到自然语言处理到很多结构化的数据应用，比如网络广告、网页搜索、产品推荐等等；有些同一领域设置超参数的直觉可以推广，但有时又不可以，特别是那些刚开始研究新问题的人们应该去尝试一定范围内的结果如何，甚至那些用了很久的模型得学习率或是其他超参数的最优值也有可能会改变。
    

深层神经网络与大脑有什么关系

• 大脑是用类似于梯度下降的算法（后向传播）学习，还是，人类大脑的学习过程用的是完全不同的原理，这是未知的；
• 在监督学习中，学到输入到输出的映射，但这种和人类大脑的类比，在这个领域的早期也许值得一提，但现在这种类比已经逐渐过时了。
  

编程作业：一步步搭建多层神经网络以及应用