Relu激活函数及其变种

神经网络中使用激活函数来加入非线性因素，提高模型的抽象表达能力。ReLU(Rectified Linear Unit,修正线性单元)
ReLU公式近似推导::

下面解释上述公式中的softplus,Noisy ReLU.
softplus函数与ReLU函数接近,但比较平滑, 同ReLU一样是单边抑制,有宽广的接受域(0,+inf), 但是由于指数运算,对数运算计算量大的原因,而不太被人使用.并且从一些人的使用经验来看,效果也并不比ReLU好.softplus的导数恰好是sigmoid函数。

其他relu变种：
1.Noisy ReLU
ReLU可以被扩展以包括高斯噪声(Gaussian noise):
f(x)=max(0,x+Y),Y∼N(0,σ(x))
Noisy ReLU 在受限玻尔兹曼机解决计算机视觉任务中得到应用.

2.ReLU6
ReLU上界设置: ReLU相比sigmoid和tanh的一个缺点是没有对上界设限.在实际使用中,可以设置一个上限,如ReLU6经验函数: f(x)=min(6,max(0,x))

3.Leaky ReLU
当x<0时,f(x)=αx,其中α非常小,这样可以避免在x<0时,不能够学习的情况：f(x)=max(αx,x)
称为Parametric Rectifier(PReLU),将 α 作为可学习的参数.
当 α 从高斯分布中随机产生时称为Random Rectifier（RReLU）