激活函数应该具有哪些特征

神经网络的神经元一般是通过激活函数后计算出来的，这个过程可以看成：
$$y=f(x)$$
这些神经元单元(可以看成激活函数的性质)应该具有下列基础性质：

• 有界
• 容易求导
• 单调(容易进行凸优化)
• 处理简单(计算方面)

sigmoid

数学表达式

$$sigmoid(z)=\frac{1}{1+e^{-z}}$$

一阶导数

$$sigmoi{d}^{{}^{\prime }}(z)=\frac{e^{-z}}{(1+e^{-z}{)}^2}=sigmoid(z)(1-sigmoid(z))$$
显然，上述性质均满足，它是一个好的激活函数

tanh

数学表达式

$$tanh(z)=\frac{e^z-z^{-z}}{e^z+e^{-z}}$$

一阶导数

$$tan{h}^{{}^{\prime }}(z)=1-tan{h}^2(z)$$
除了上述的基本性质外，它的优点还有

• 在实践中发现它收敛更快
• 梯度计算上的代价更少

hard tanh

数学表达式

$$hardtanh(z)=\{\begin{array}{ll}-1& \text{z<-1}\\ z& \text{-1<=z<=1}\\ 1& \text{z>1}\end{array}$$

一阶导数

$$hardtan{h}^{{}^{\prime }}(z)=\{\begin{array}{ll}1& \text{-1<=z<=1}\\ 0& \text{otherwise}\end{array}$$
优点

• 计算上比tanh更简单
• z的饱和区域(有效的梯度更新范围)大于1

relu

数学表达式

$$relu(z)=max(z,0)$$

一阶导数

$$rel{u}^{{}^{\prime }}(z)=\{\begin{array}{ll}1& \text{z>0}\\ 0& \text{otherwise}\end{array}$$
优点

• 即使对于很大的z值它也不会饱和
• 在CV领域取得了很大的成功

Leaky Relu

数学表达式

$$leaky(z)=max(z,k\ast z)，0<k<1$$

一阶导数

$$leak{y}^{{}^{\prime }}(z)=\{\begin{array}{ll}1& \text{z>0}\\ k& \text{otherwise}\end{array}$$
优点

• 梯度可以从负神经元处反向传过去，而relu不行

更多激活函数的说明请参照

Survey of Neural Transfer Functions，伯克利出品，50面+，非战斗人员请退出。
备用下载地址
推荐链接，进入后输入下面的提取码
备用链接，进入后输入下面的提取码
提取码：iezh