饱和激活函数:
-
Sigmoid:输出0~1
-
Tanh:输出-1~1
上述两个函数共同缺点为轮入X值过大或过小时,导数都不大。 只要网络层数多一点就很容易消失了
非饱和激活函数:为了解决“梯度消失”问题
-
ReLU(修正线性单元):X负值部分的斜率永远为零
-
LeakyReLU:改进X负值部分(X<0)的斜率为也为一个线性(但不能等于1)
-
PReLU(参数化修正线性单元):X负值部分的斜率是根据数据来定的,而非预先定义的
-
RReLU:关键就在Random的概念引入,到a参数
-
ReLU6:也就是将X正值部分的输出设了一个上限为6,防止训练时梯度爆炸造成神经元"dead"状况
公式参考:https://www.wandouip.com/t5i356161/
优秀的博客:
1、https://blog.csdn.net/Leo_Xu06/article/details/53708647
2、https://blog.csdn.net/guorongronghe/article/details/70174476
3、https://blog.csdn.net/weixin_42057852/article/details/84644348
4、https://blog.csdn.net/u011684265/article/details/78039280
5、 https://blog.csdn.net/qq_23304241/article/details/80300149