ReLUs deep learning NN 的激活函数

神经网络的分类，识别的步骤是，特征提取，建立神经网络，此步骤可以通过BP.FP等方式实现，然后就是对信号的输出，此步骤就用到了激活函数。

激活函数一般包括：

1、logistic sigmoid；

2、max 函数

等

ReLU (rectified linear unit)是一个单位的激活函数。

由于max函数是被认为比logistic 函数更加符合生物特征，ReLU在此基础上被扩展到可以增加高斯噪声。

Noisy ReLUs

这种激活函数在RBM 模型中使用

Leaky ReLUs

这个函数增加了一个小幅度的非零的梯度当单位的信号没有被激活的时候。

好处是：

1、生物合理性，与反对称的tanh相比是片面性的。【？？此处疑问】

2、稀疏激活的，比如，在随机初始户的神经网络中，只有50%的隐藏单元是激活的（有非零值）

3、有效地梯度的演化，没有梯度消失或者是突变的现象

4、有效地计算过程，只有比较，加，乘法三种运算

ReLU,与 sigmoid function或者其他的函数对比，在深度学习在大数据集的应用上，有更快更高效的训练过程，他们最普遍的特征就是，他们实现了局部的竞争小组织之间，这种竞争是通过一个(层与0进行竞争实现的。所以在输入模式中只有一部分被激活。

参考：

http://en.wikipedia.org/wiki/Rectifier_(neural_networks)