深度学习——激活函数ReLu

通常意义下，线性整流函数指代数学中的斜坡函数，即

其中是输入特征，经过线性变化之后的输出结果，比较其与0之间的大小关系，作为ReLu函数的输出

优点：

1. 解决了gradient vanishing问题 (在正区间)；
2.计算速度非常快，只需要判断输入是否大于0；
3.收敛速度远快于sigmoid和tanh.

缺点：

1.ReLU的输出不是zero-centered;
2.某些神经元可能永远不会被激活(Dead ReLU Problem)，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (a) 参数初始化方式不正确，可能性较低；(b) learning rate太高导致在训练过程中参数更新太大，使网络进入这种状态。解决方法是可以采用Xavier初始化方法，避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法.