激活函数总结

关于激活函数的总结：
一、sigmoid激活函数
公式：1/(1+exp(-w1x1+w2x2+…))
sigmoid函数是一条穿过(0,0.5)的s型曲线，上下限分别无限逼近1，0
#sigmoid函数的缺点：
1、倾向于梯度消失
2、执行指数运算，计算速度较慢
3、sigmoid函数输出不是以0为中心，而是以0.5为中心，会降低权重更新的速率

二、Tanh/双曲正切激活函数
公式：2/(1+exp(-2(w1x1+w2x2+…)))-1
Tanh函数是一条穿过(0,0)的s型曲线，上下限分别无限逼近1，-1

三、ReLU激活函数
公式：if(x<=0,0,x)
#ReLU函数的优点：
1、当输入为正时，不存在梯度饱和问题
2、ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快
#缺点：
1、在反向传播过程中，如果输入负数，则梯度将完全为零(Dead ReLU 问题)

四、Leaky ReLU激活函数：
针对以上的Dead ReLU 问题，提出了Leaky ReLU激活函数。
公式： if(x<=0,0.01x,x)
Leaky ReLU激活函数是一条穿过(0,0)的处于正无穷和负无穷之间的函数。
#优点：
1、Leaky ReLU 通过把 x 的非常小的线性分量(0.01倾斜度非常小)给予负输入（0.01x）来调整负值的零梯度问题

五、ELU激活函数
公式：if(x<=0,a.exp(x)-1,x)

六、PReLU激活函数
公式：if(x<=0,ax,x)
与Leaky ReLU区别不同的是，a是一个可学习的参数

七、Softmax激活函数
公式：假设输出层有三个神经元x1x2x3,则使用激活函数：exp(x1)/(exp(x1)+exp(x2)+exp(x3)),依次类推，分别得到三个类的概率值，满足三者相加等于1

八、swish激活函数
公式：x * sigmoid (x)

九、maxout

十、SoftPlus激活函数
公式: ln（1 + exp x）