【学习周报】深度学习笔记第二周

学习目标：

• 吴恩达深度学习课程lesson1-week3

---

学习内容：

3.1 神经网络概述（Neural Network Overview）

3.2 神经网络的表示（Neural Network Representation）

3.3 计算一个神经网络的输出（Computing a Neural Network's output）

3.4 多样本向量化（Vectorizing across multiple examples）

3.5 激活函数（Activation functions）

学习时间：

• 10.7-10.8

---

学习产出：

3.1 神经网络概述（Neural Network Overview）

简单的神经网络模型：

正向计算：

反向传播：

 

 3.2 神经网络的表示（Neural Network Representation）

输入特征x1​、x2​、x3​，它们被竖直地堆叠起来，这叫做神经网络的输入层。

然后这里有另外一层我们称之为隐藏层（中间的四个结点）。隐藏表示中间的数据参数是看不见的，而输入输出是可以被外界看见的。

最后一层只由一个结点构成，而这个只有一个结点的层被称为输出层，它负责产生预测值。

输入层是不算入总层数内，所以隐藏层是第一层，输出层是第二层。第二个惯例是我们将输入层称为第零层。

3.3 计算一个神经网络的输出（Computing a Neural Network's output）

每一个神经元节点内的计算：

 

第一步，计算z1[1]​=w1[1]T​x+b1[1]​。

第二步，通过激活函数计算a1[1]​=σ(z1[1]​)。

 向量化的神经网络计算：

 

 3.4 多样本向量化（Vectorizing across multiple examples）

3.3中的计算只有单个样本的计算。多个样本需要进行向量化矩阵计算即可。

3.5 激活函数（Activation functions）

四个常用的激活函数：

sigmoid函数：在二分类的问题中，对于输出层，因为​y​的值是0或1，所以想让​y^​​的数值介于0和1之间，而不是在-1和+1之间。所以需要使用sigmoid激活函数。

tanh函数：tanh函数或者双曲正切函数是总体上都优于sigmoid函数的激活函数。 因为函数值域在-1和+1的激活函数，其均值是更接近零均值的。在训练一个算法模型时，如果使用tanh函数代替sigmoid函数中心化数据，使得数据的平均值更接近0而不是0.5。

以上两者的共同缺点是，在z特别大或者特别小的情况下，导数的梯度或者函数的斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。学习速度在z特别大或者特别小的时候很慢。

ReLu函数：a=max(0,z) 所以，只要z是正值的情况下，导数恒等于1，当z是负值的时候，导数恒等于0。

Leaky Relu函数：当z是负值时，这个函数的值不是等于0，而是轻微的倾斜，其他情况与ReLu函数无异。

两者的优点是：

第一，在​z​的区间变动很大的情况下，激活函数的导数或者激活函数的斜率都会远大于0，在程序实现就是一个if-else语句，而sigmoid函数需要进行浮点四则运算，在实践中，使用ReLu激活函数神经网络通常会比使用sigmoid或者tanh激活函数学习的更快。

第二，sigmoid和tanh函数的导数在正负饱和区的梯度都会接近于0，这会造成梯度弥散，而Relu和Leaky ReLu函数大于0部分都为常数，不会产生梯度弥散现象。(同时应该注意到的是，Relu进入负半区的时候，梯度为0，神经元此时不会训练，产生所谓的稀疏性，而Leaky ReLu不会有这问题)

选择函数的经验：

sigmoid激活函数：除了输出层是一个二分类问题基本不会用它。

tanh激活函数：tanh是非常优秀的，几乎适合所有场合。

ReLu激活函数：最常用的默认函数，如果不确定用哪个激活函数，就使用ReLu或者Leaky ReLu。

为什么需要非线性激活函数？

   如果你是用线性激活函数或者叫恒等激励函数，那么神经网络只是把输入线性组合再输出。这样的神经网络节点再多都是无用的。

  不能在隐藏层用线性激活函数，可以用ReLU或者tanh或者leaky ReLU或者其他的非线性激活函数，唯一可以用线性激活函数的通常就是输出层；除了这种情况，会在隐层用线性函数的，除了一些特殊情况，比如与压缩有关的，那方面在这里将不深入讨论。在这之外，在隐层使用线性激活函数非常少见。