caffe学习笔记22-激活函数特点

1.ReLU 激活函数：
ReLu使得网络可以自行引入稀疏性，在没做预训练情况下，以ReLu为激活的网络性能优于其它激活函数。
数学表达式： y=max(0,x)

2.Sigmoid 激活函数：(0~1)
sigmoid 激活函数在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。
数学表达式： y=(1+exp(−x))−1

3.Tanh 激活函数：(-1～1)
Tanh 激活函数使得输出与输入的关系能保持非线性单调上升和下降关系，比sigmoid 函数延迟了饱和期，对神经网路的容错性好。

数学表达式： y=exp(x)−exp(−x)exp(x)+exp(−x)

4.为什么需要激活函数？
答：如果不用激活函数，每一层的输出都是上一层的线性组合，从而导致整个神经网络的输出为神经网络输入的线性组合，无法逼近任意函数。
激活函数有以下特性：
    1）非线性
    2）可微性：当优化方法是基于梯度时，此性质是必须的
    3）单调性：当激活函数是单调时，可保证单层网络是凸函数 
    4）输出值的范围：当激活函数输出值是 有限 的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著；当激活函数的输出是无限时，模型的训练会更加高效，不过在这种情况小，一般需要更小的Learning Rate.