常用激活函數筆記

饱和激活函数：

• Sigmoid：输出0~1

• Tanh：输出-1~1

上述两个函数共同缺点为轮入X值过大或过小时，导数都不大。 只要网络层数多一点就很容易消失了

 

 

 

非饱和激活函数：为了解决“梯度消失”问题

• ReLU(修正线性单元)：X负值部分的斜率永远为零

• LeakyReLU：改进X负值部分(X<0)的斜率为也为一个线性(但不能等于1)

• PReLU(参数化修正线性单元)：X负值部分的斜率是根据数据来定的，而非预先定义的

• RReLU：关键就在Random的概念引入，到a参数

• ReLU6：也就是将X正值部分的输出设了一个上限为6，防止训练时梯度爆炸造成神经元"dead"状况

 

公式参考：https://www.wandouip.com/t5i356161/

优秀的博客:

1、https://blog.csdn.net/Leo_Xu06/article/details/53708647

2、https://blog.csdn.net/guorongronghe/article/details/70174476

3、https://blog.csdn.net/weixin_42057852/article/details/84644348

4、https://blog.csdn.net/u011684265/article/details/78039280

5、 https://blog.csdn.net/qq_23304241/article/details/80300149