激活函数知识点整理

激活函数

什么是激活函数

• 激活函数是人工神经网络的一个极其重要的特征；
• 激活函数决定一个神经元是否应该被激活，激活代表神经元接收的信息与给定的信息有关；
• 激活函数对输入信息进行非线性变换，然后将变换后的输出信息作为输入信息传给下一层神经元。

激活函数的作用

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，最终的输出都是输入的线性组合。 激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。

激活函数的种类

identity
函数定义：

f(x) = x

导数：

f’(x) = 1

函数图形如 图1 所示：

图1 identity
优点：适合于潜在行为是线性（与线性回归相似）的任务。

缺点：无法提供非线性映射，当多层网络使用identity激活函数时，整个网络就相当于一个单层模型。
step
函数定义：

函数图形如 图2 所示：

图2 step
优点：激活函数 Step 更倾向于理论而不是实际，它模仿了生物神经元要么全有要么全无的属性。

缺点：它无法应用于神经网络因为其导数是 0（除了零点导数无定义以外），这意味着基于梯度的优化方法并不可行。
sigmod

函数图形如 图3 所示：

图3 sigmoid
优点：

1. sigmoid 函数的输出映射在 (0,1) 之间，单调连续，输出范围有限，优化稳定，可以用作输出层；
2. 求导容易；

缺点：

1. 由于其软饱和性，一旦落入饱和区梯度就会接近于0，根据反向传播的链式法则，容易产生梯度消失，导致训练出现问题；
2. Sigmoid函数的输出恒大于0。非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（Bias Shift），并进一步使得梯度下降的收敛速度变慢；
3. 计算时，由于具有幂运算，计算复杂度较高，运算速度较慢。

tanh
函数定义：

函数图形如 图4 所示：

图4 tanh
优点：

1. tanh 比 sigmoid 函数收敛速度更快；
2. 相比 sigmoid 函数，tanh 是以 0 为中心的；

缺点：

1. 与 sigmoid 函数相同，由于饱和性容易产生的梯度消失；
2. 与 sigmoid 函数相同，由于具有幂运算，计算复杂度较高，运算速度较慢。

ReLU
函数定义：

函数图如 图5 所示：

图5 ReLU
优点：

1. 收敛速度快；
2. 相较于 sigmoid 和 tanh 中涉及了幂运算，导致计算复杂度高， ReLU​可以更加简单的实现；
3. 当输入 x>=0 时，ReLU​ 的导数为常数，这样可有效缓解梯度消失问题；
4. 当 x<0 时，ReLU​ 的梯度总是 0，提供了神经网络的稀疏表达能力；

缺点：

1. ReLU​ 的输出不是以 0 为中心的；
2. 神经元坏死现象，某些神经元可能永远不会被激活，导致相应参数永远不会被更新；
3. 不能避免梯度爆炸问题；（梯度爆炸和梯度消失详解）
   LReLU
   函数定义：
   
   其中，α 常设置为0.01。函数图如 图6 所示：
   
   图6 LReLU

优点：

1. 避免梯度消失；
2. 由于导数总是不为零，因此可减少死神经元的出现；

缺点：

1. LReLU​ 表现并不一定比 ReLU​ 好；
2. 无法避免梯度爆炸问题；

PReLU
函数定义：

函数图如 图7 所示：

图7 PReLU

优点：

1. PReLU​ 是 LReLU 的改进，可以自适应地从数据中学习参数；
2. 收敛速度快、错误率低；
3. PReLU 可以用于反向传播的训练，可以与其他层同时优化；
   ELU
   函数定义：
   
   函数图形如 图9 所示：
   
   图9 ELU

优点：

1. 导数收敛为零，从而提高学习效率；
2. 能得到负值输出，这能帮助网络向正确的方向推动权重和偏置变化；
3. 防止死神经元出现。

缺点：

1. 计算量大，其表现并不一定比 ReLU 好；
2. 无法避免梯度爆炸问题；
   SELU
   函数定义：
   
   函数图形 如图10 所示：
   
   图10 SELU

优点：

1. SELU 是 ELU 的一个变种。其中 λ 和 α 是固定数值（分别为 1.0507 和 1.6726）;
2. 经过该激活函数后使得样本分布自动归一化到 0 均值和单位方差;
3. 不会出现梯度消失或爆炸问题;

softmax
softmax 函数一般用于多分类问题中，它是对逻辑斯蒂（logistic）回归的一种推广，也被称为多项逻辑斯蒂回归模型(multi-nominal logistic mode)。假设要实现 k 个类别的分类任务，Softmax 函数将输入数据 xi 映射到第 i 个类别的概率 yi 如下计算：

显然，0<yi<1。图13 给出了三类分类问题的 softmax 输出示意图。在图中，对于取值为 4、1和-4 的 x1、x2 和 x3，通过 softmax 变换后，将其映射到 (0,1) 之间的概率值。

图13 三类分类问题的softmax输出示意图

由于 softmax 输出结果的值累加起来为 1，因此可将输出概率最大的作为分类目标（图 1 中被分类为第一类）。

也可以从如下另外一个角度来理解图 1 中的内容：给定某个输入数据，可得到其分类为三个类别的初始结果，分别用 x1、x2 和 x3 来表示。这三个初始分类结果分别是 4、1和-4。通过 Softmax 函数，得到了三个类别分类任务中以概率表示的更好的分类结果，即分别以 95.25%、4.71%和0.04% 归属于类别1、类别2 和类别3。显然，基于这样的概率值，可判断输入数据属于第一类。可见，通过使用 Softmax 函数，可求取输入数据在所有类别上的概率分布。

激活函数的选择

1. 浅层网络在分类器时，sigmoid 函数及其组合通常效果更好。
2. 由于梯度消失问题，有时要避免使用 sigmoid 和 tanh 函数。
3. relu 函数是一个通用的激活函数，目前在大多数情况下使用。
4. 如果神经网络中出现死神经元，那么 prelu 函数就是最好的选择。
5. relu 函数只能在隐藏层中使用。
6. 通常，可以从 relu 函数开始，如果 relu 函数没有提供最优结果，再尝试其他激活函数。

激活函数相关问题

为什么 relu 不是全程可微/可导也能用于基于梯度的学习？

从数学的角度看 relu 在 0 点不可导，因为它的左导数和右导数不相等；但在实现时通常会返回左导数或右导数的其中一个，而不是报告一个导数不存在的错误，从而避免了这个问题。

为什么 tanh 的收敛速度比 sigmoid 快？

由上面两个公式可知 tanh 引起的梯度消失问题没有 sigmoid 严重，所以 tanh 收敛速度比 sigmoid 快。

sigmoid 和 softmax 有什么区别？

1. 二分类问题时 sigmoid 和 softmax 是一样的，都是求 cross entropy loss ，而 softmax
   可以用于多分类问题。
2. softmax 是 sigmoid 的扩展，因为，当类别数 k=2 时，softmax 回归退化为 logistic 回归。
3. softmax 建模使用的分布是多项式分布，而 logistic 则基于伯努利分布。
4. 多个 logistic 回归通过叠加也同样可以实现多分类的效果，但是 softmax回归进行的多分类，类与类之间是互斥的，即一个输入只能被归为一类；多 logistic回归进行多分类，输出的类别并不是互斥的，即”苹果”这个词语既属于”水果”类也属于”3C”类别。