caffe学习笔记26-ReLU的有效性

ReLU的有效性体现在两个方面：

    1.克服梯度消失的问题

    2.加快训练速度

而这两个方面是相辅相成的，因为克服了梯度消失问题，所以训练才会快。其中有一段特别精彩的话引用在下面：

    1.几十年的机器学习发展中，我们形成了这样一个概念：非线性激活函数要比线性激活函数更加先进。

    2.尤其是在布满Sigmoid函数的BP神经网络，布满径向基函数的SVM神经网络中，往往有这样的幻觉，非线性函数对非线性网络贡献巨大。

    3.该幻觉在SVM中更加严重。核函数的形式并非完全是SVM能够处理非线性数据的主力功臣（支持向量充当着隐层角色）。

    4.那么在深度网络中，对非线性的依赖程度就可以缩一缩。另外，在上一部分提到，稀疏特征并不需要网络具有很强的处理线性不可分机制。

 综合以上两点，在深度学习模型中，使用简单、速度快的线性激活函数可能更为合适。