激活函数总结

1.激活函数的性质

• 1.连续并可导(允许少数点不可导)的非线性函数
  • 可导的激活函数可直接数值优化来学习网络参数
• 2.激活函数及其导函数要尽可能的简单
  • 利于提高网络计算效率
• 3.激活函数的导函数的值域要在一个合适的区间
  • 大小合适保证网络训练效率和稳定性

2.常见激活函数

2.1 sigmoid型函数

Sigmoid型函数指有一类S型曲线函数，为两端饱和函数。

2.1.1 Logisitic函数

$$\sigma (x)=\frac{1}{(1+exp(-x))}$$

2.1.2 Tanh函数

$$tanh(x)=\frac{exp(x)-exp(-x)}{exp(x)+exp(-x)}$$

2.2 ReLU函数

ReLU实际上是一个斜坡函数，定义：
$$ReLU(x)=max(0,x)$$
其优点：

• 采用ReLU的神经元只需要进行加、乘和比较的操作，计算上更加高效。
• ReLU具有很好的稀疏性
• 在优化方面，相比于sigmoid函数两端饱和，ReLU函数为左饱和，且在x>0时导数为1，在一定程度上缓解了神经网络的梯度消失问题，加速梯度下降的收敛速度。

缺点：

• 其输出是非零中心化的，给后一层的神经网络引入偏置便宜，会影响梯度下降的效率
• ReLU神经元在训练时比较容易死亡

2.2.1 LeakyReLU函数

$$LeakyReLU(x)=max(0,x)+\gamma min(0,x)$$
在输入$x<0$时，保持很小的梯度。可以使神经元非激活时也能以一个非零的梯度更新参数，避免永远不能被激活。

2.2.2 PReLU函数

$$PReLU(x)=max(0,x)+{\gamma }_{i}min(0,x)$$

2.2.3 ELU函数

$$ELU(x)=max(0,x)+min(0,\gamma (exp(x)-1))$$

2.2.4 softplus函数

$$Softplus(x)=log(1+exp(x))$$

2.3 Swish函数

一种自门控激活函数
$$swish(x)=x\sigma (\beta x)$$

2.4 GELU函数

$$GELU(x)=xP(X=<x)$$

2.5 Maxout单元

$$maxout(x)=ma{x}_{k\in [1,k]}(z_K)$$

常见激活函数及其导数

激活函数	函数	导数
Logistic函数	$f(x)=\frac{1}{1+exp(-x)}$	$f^{{}^{\prime }}(x)=f(x)(1-f(x))$
Tanh函数	$f(x)=\frac{exp(x)-exp(-x)}{exp(x)+exp(-x)}$	$f^{{}^{\prime }}(x)=1-f(x{)}^2$
ReLU函数	$f(x)=max(0,x)$	$f^{{}^{\prime }}(x)=I$
ELU函数	$f(x)=max(0,x)+min(0,\gamma (exp(x)-1))$	$f^{{}^{\prime }}(x)=I(x>0)+I(x=<0)\cdot \gamma exp(x)$
SoftPlus函数	$f(x)=log(1+exp(x))$	$f^{{}^{\prime }}(x)=\frac{1}{1+exp(-x)}$

参考：

• 神经网络与深度学习，邱锡鹏
• 其余文献不一一列举