常用激活函数简介

激活函数

API

1. torch activation functions api torch.nn
2. keras activation functions api tf.keras.activations
3. tensorflow activation functions api tf.nn
4. wiki activation functions

性质

激活函数应该具备如下性质：

1. 非线性：保证多层网络不退化成单层线性网络。
2. 可微性：保证梯度或SubGradient的可计算性。
3. 单调性：(非强制)保证单层网络是凸函数， mish例外。

S Model

Sigmoid

函数：
$$\sigma \left(x\right)=\frac{1}{1+e^{-x}}$$
导数：
$${\sigma }^{\prime }(x)=\sigma (x)\cdot (1-\sigma (x))$$
图像：

def Sigmoid(x):
	return 1. / (1 + np.exp(-x))

1. 优点
   1. 梯度平滑，求导容易。
   2. 输出映射在(0, 1)之间，单调连续，优化稳定。
2. 缺点
   1. 计算量大：包含指数运算。
   2. 梯度消失：输入值较大或较小时，Sigmoid导数则接近于零，在反向传播时，参数更新较慢。
   3. Sigmoid 的输出不是0中心(Zero-Centered)。
3. 参考
   1. sigmoid wiki

Tanh

等价于Sigmoid的平移与缩放，函数：
$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

导数：
$$tan{h}^{\prime }(x)=1-tanh(x{)}^2$$
图像：

def tanh(x):
	return np.sinh(x)/np.cosh(x)

1. 优点
   1. 比Sigmoid函数收敛速度更快。
   2. tanh(x) 的梯度消失问题比 sigmoid 要轻。
   3. 相比Sigmoid函数，输出是以 0 为中心 Zero-Centered.
2. 缺点
   1. 计算量大。
   2. 梯度消失。

Linear Unit

• 论文 Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)

ReLU

整流线性单元，Rectified Linear Unit.

$$ELU(x)=\{\begin{array}{llc}x,& if& x>0\\ 0& if& x\le 0\end{array}$$
图像

```python def ReLU(x): return x * (x > 0) ``` 1. 优点 1. 计算与收敛速度非常快，不涉及指数等运算。 2. 一定程度缓解梯度消失问题，因为导数为 1，不会像 sigmoid 那样由于导数较小，而导致连乘得到的梯度逐渐消失。 2. 缺点 1. 某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。 ### ELU

指数线性单元，Exponential Linear Unit.

$$ELU(x)=\{\begin{array}{llc}x,& if& x>0\\ \alpha (e^x-1)& if& x\le 0\end{array}$$
图像：

def ELU(x, alpha):
    return x if x > 0 else alpha * (exp(x) - 1)

1. 优点
   1. 能避免死亡 ReLU 问题：x 小于 0 时函数值不再是 0，因此可以避免 dying relu 问题。
   2. 能得到负值输出，这能帮助网络向正确的方向推动权重和偏置变化。
2. 缺点
   1. 计算耗时：包含指数运算。
   2. α 值是超参数，需要人工设定。

SELU

尺度指数线性单元，Scale Exponential Linear Unit. 参见论文 Self-Normalizing Neural Networks.

$$SELU(x)=\lambda \{\begin{array}{llc}x,& if& x>0\\ \alpha (e^x-1)& if& x\le 0\end{array}$$
图像：

def SELU(x, alpha, scale):
    return scale * x if x > 0 else scale * alpha * (exp(x) - 1)

1. 优点
   1. SELU 激活能够对神经网络进行自归一化（self-normalizing）。
   2. 不可能出现梯度消失或爆炸问题，论文附录的定理 2 和 3 提供了证明。
2. 缺点
   1. 应用较少，需要更多验证。

Soft Model

Softmax

Softmax 用于多分类工程，将多个输入映射到(0-1] 区间内，可以看成概率，从而进行多分类。

假设数组$X$, $x_i$ 表示$X$中的第$i$个元素，那么，该元素的Softmax值为：

$$Softmax(x_i)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$$

Softmin

$$Softmin(x_i)=\frac{e^{-x_i}}{{\sum }_j{e}^{-x_j}}$$

LogSoftmax

$$LogSoftmin(x_i)=Log\left(\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}\right)$$