常见的几种激活函数的理解&分析

常见的几种激活函数的理解&分析

**摘要：**神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

激活函数

如下图所示为激活函数的示意图，输入的 inputs 通过加权，求和后，被作用于一个激活函数。

几种常见的激活函数

Sigmoid函数：

sigmoid函数也叫Logistic函数，用于隐藏层的输出，输出在(0,1)之间，它可以将一个实数映射到(0,1)的范围内，可以用来做二分类。在特征相差比较复杂或是相差不是特别大的时候效果比较好。该函数将大的负数转换成0，将大的正数转换为1。也是使用范围最广的一类激活函数，具有指数函数形状，在物理上最接近神经元，可以被表示成概率。
具有如下优缺点：

• 优点：
  Sigmoid的取值范围在(0, 1)，而且是单调递增，比较容易优化
  Sigmoid求导比较容易，可以直接推导得出。
• 缺点：
  Sigmoid函数收敛比较缓慢
  由于Sigmoid是软饱和，容易产生梯度消失，对于深度网络训练不太适合（从图上sigmoid的导数可以看出当x趋于无穷大的时候，也会使导数趋于0）
  Sigmoid函数并不是以（0,0）为中心点
  

Tanh激活函数

tanh为双切正切曲线，过（0,0）点。如图所示，可看作是Sigmoid函数向下平移和收缩的结果。

- 优点：
函数输出以（0,0）为中点
收敛速度相对于Sigmoid更快
- 缺点：
tanh并没有解决sigmoid梯度消失的问题
即在z很大或很小时，梯度几乎为零，因此使用梯度下降优化算法更新网络很慢。

Relu(修正线性单元)激活函数

很常用的激活函数，从表达式和图像可以明显地看出：Relu其实就是个取最大值的函数。
ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。（也就是说：在输入是负值的情况下，它会输出0，那么神经元就不会被激活。这意味着同一时间只有部分神经元会被激活，从而使得网络很稀疏，进而对计算来说是非常有效率的。）正因为有了这单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性。尤其体现在深度神经网络模型(如CNN)中，当模型增加N层之后，理论上ReLU神经元的激活率将降低2的N次方倍。当训练一个深度分类模型时，和目标相关的特征只有少量，因此通过稀疏后模型能更好的挖掘特征。

• 优点：
  没有饱和区，不存在梯度消失问题；
  没有复杂的指数运算，计算简单、效率提高；
  实际收敛速度较快，比 Sigmoid/tanh 快很多；
  比 Sigmoid 更符合生物学神经激活机制
• 缺点：
  在训练过程中容易出现神经元失活，之后梯度永远为0的情况。比如一个特别大的梯度结果神经元之后，我们调整权重参数，就会造成这个ReLU神经元对后来来的输入永远都不会被激活，这个神经元的梯度永远都会是0，造成不可逆的死亡。举例：一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了。如果这个情况发生了，那么这个神经元的梯度就永远都会是0.实际操作中，如果你的learning rate 很大，那么很有可能你网络中的40%的神经元都”dead”了。 当然，如果你设置了一个合适的较小的learning rate，这个问题发生的情况其实也不会太频繁。

Leaky Relu激活函数

LeakyReLU的提出就是为了解决神经元”死亡“问题，LeakyReLU与ReLU很相似，仅在输入小于0的部分有差别，ReLU输入小于0的部分值都为0，而LeakyReLU输入小于0的部分，值为负，且有微小的梯度。

实际中，LeakyReLU的α取值一般为0.01。使用LeakyReLU的好处就是：在反向传播过程中，对于LeakyReLU激活函数输入小于零的部分，也可以计算得到梯度(而不是像ReLU一样值为0)，这样就避免了上述梯度方向锯齿问题,其函数范围为负无穷到正无穷。理论上来讲，Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题，但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU
函数图像如下图：

P-Relu(Parametric ReLU)激活函数

参数化修正线性单元，PReLU可以看作是Leaky ReLU的一个变体。在PReLU中，负值部分的斜率是根据数据来定的，而非预先定义的。

由 PReLU 的公式可知：参数α通常为 0 到 1 之间的数字，并且通常相对较小。
如果 a_i= 0，则 f 变为 ReLU
如果 a_i> 0，则 f 变为 leaky ReLU
如果 a_i 是可学习的参数，则 f 变为 PReLU

• 优点：
  在负值域，PReLU 的斜率较小，这也可以避免 Dead ReLU 问题。
  与 ELU 相比，PReLU 在负值域是线性运算。尽管斜率很小，但不会趋于 0。

Elu激活函数

ELU 的提出也解决了 ReLU 的问题。与 ReLU 相比，ELU 有负值，这会使激活的平均值接近零。均值激活接近于零可以使学习更快，因为它们使梯度更接近自然梯度。

显然，ELU 具有 ReLU 的所有优点

• 优点：
  没有 Dead ReLU 问题，输出的平均值接近 0，以 0 为中心；
  ELU 通过减少偏置偏移的影响，使正常梯度更接近于单位自然梯度，从而使均值向零加速学习；
  ELU 在较小的输入下会饱和至负值，从而减少前向传播的变异和信息。
  缺点：
  一个小问题是它的计算强度更高。与 Leaky ReLU 类似，尽管理论上比 ReLU 要好，但目前在实践中没有充分的证据表明 ELU 总是比 ReLU 好。
  

Gelu激活函数

Swich激活函数

函数表达式：y = x * sigmoid (x)

Swish 的设计受到了 LSTM 和高速网络中 gating 的 sigmoid 函数使用的启发。我们使用相同的 gating 值来简化 gating 机制，这称为 self-gating。

self-gating 的优点在于它只需要简单的标量输入，而普通的 gating 则需要多个标量输入。这使得诸如 Swish 之类的 self-gated 激活函数能够轻松替换以单个标量为输入的激活函数（例如 ReLU），而无需更改隐藏容量或参数数量。

Swish 激活函数的主要优点如下：

「无界性」有助于防止慢速训练期间，梯度逐渐接近 0 并导致饱和；（同时，有界性也是有优势的，因为有界激活函数可以具有很强的正则化，并且较大的负输入问题也能解决）；
导数恒 > 0；
平滑度在优化和泛化中起了重要作用。

Selu激活函数

Softmax激活函数

Softmax 是用于多类分类问题的激活函数，在多类分类问题中，超过两个类标签则需要类成员关系。对于长度为 K 的任意实向量，Softmax 可以将其压缩为长度为 K，值在（0，1）范围内，并且向量中元素的总和为 1 的实向量。


Softmax 与正常的 max 函数不同：max 函数仅输出最大值，但 Softmax 确保较小的值具有较小的概率，并且不会直接丢弃。我们可以认为它是 argmax 函数的概率版本或「soft」版本。
Softmax 函数的分母结合了原始输出值的所有因子，这意味着 Softmax 函数获得的各种概率彼此相关。
Softmax 激活函数的主要缺点是：
在零点不可微；
负输入的梯度为零，这意味着对于该区域的激活，权重不会在反向传播期间更新，因此会产生永不激活的死亡神经元。

Maxout激活函数

在 Maxout 层，激活函数是输入的最大值，因此只有 2 个 maxout 节点的多层感知机就可以拟合任意的凸函数。

单个 Maxout 节点可以解释为对一个实值函数进行分段线性近似 (PWL) ，其中函数图上任意两点之间的线段位于图（凸函数）的上方。


Maxout 也可以对 d 维向量（V）实现：

假设两个凸函数 h_1(x) 和 h_2(x)，由两个 Maxout 节点近似化，函数 g(x) 是连续的 PWL 函数。

因此，由两个 Maxout 节点组成的 Maxout 层可以很好地近似任何连续函数。

Softplus激活函数

Softplus 函数：f（x）= ln（1 + exp x）

Softplus 的导数为

f ′(x)=exp(x) / ( 1+exp⁡ x )
= 1/ (1 +exp(−x ))

，也称为 logistic / sigmoid 函数。

Softplus 函数类似于 ReLU 函数，但是相对较平滑，像 ReLU 一样是单侧抑制。它的接受范围很广：(0, + inf)。