常见激活函数总结

1. sigmoid

公式：
$$sigmoid(z)=\frac{1}{1+e^{-z}}$$
sigmoid能够把输入映射到0和1之间，在物理上最接 近神经元，可以被表示成概率，或者用于数据的归 一化。但是它有两个严重的缺陷：

• 其一，梯度消失——导数 f’(x)=f(x)(1-f(x))， 当x趋于无穷时，f(x)的两侧导数逐渐趋于0。在后 向传递时，sigmoid向下传递的梯度包含了一个 f’(x)因子，因此，一旦落入两端的平滑区，f’(x) 就变得接近于0，导致了向后传递的梯度也非常小。 此时，网络参数很难得到有效训练，这种现象被称 为梯度消失，一般在5层以内就会产生梯度消失的现象。
• 其二，Sigmoid 的 output 不是0均值（即zero-centered）。这是不可取的，因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。 产生的一个结果就是：如$x>0,f=w^{T}x+bx>0$，那么对w求局部梯度则都为正，这样在反向传播的过程中w要么都往正方向更新，要么都往负方向更新，导致有一种捆绑的效果，使得收敛缓慢。 当然了，如果按batch去训练，那么那个batch可能得到不同的信号，所以这个问题还是可以缓解一下的。因此，非0均值这个问题虽然会产生一些不好的影响，不过跟上面提到的梯度消失问题相比还是要好很多的。

2. tanh

tanh函数图像及其导函数：

公式：
$$tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

它解决了Sigmoid函数的不是zero-centered输出问题，然而，梯度消失（gradient vanishing）的问题和幂运算的问题仍然存在。

3. ReLU

ReLU图像及其导函数图像

公式：
$$Relu(z)=max(0,x)$$

ReLU函数其实就是一个取最大值函数，注意这并不是全区间可导的，但是我们可以取sub-gradient，如上图所示。ReLU虽然简单，但却是近几年的重要成果，有以下几大优点：
1） 解决了gradient vanishing问题 (在正区间)
2）计算速度非常快，只需要判断输入是否大于0
3）收敛速度远快于sigmoid和tanh

ReLU也有几个需要特别注意的问题：
1）ReLU的输出不是zero-centered
2）Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。

尽管存在这两个问题，ReLU目前仍是最常用的activation function，在搭建人工神经网络的时候推荐优先尝试！

4.leaky ReLU

函数表达式：
$$f(x)=max(\alpha x,x)$$
人们为了解决Dead ReLU Problem，提出了将ReLU的前半段设为αxαx而非0，通常α=0.01α=0.01。另外一种直观的想法是基于参数的方法，即$ParametricReLU:f(x)=max(\alpha x,x)$，其中α
可由方向传播算法学出来。理论上来讲，Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题，但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU。