激活函数总结

CNN/RNN各种模型激活函数总结

0.Sigmoid：

Sigmoid函数是早期非常经典的激活函数，输出值在 [0,1] 之间，当输入值为非常大负数时，值为0，当输入值非常大正数时，值为1。Sigmoid非常经典，但是现在它以不太受欢迎，原因是它存在一个几个比较大的缺陷，后面做详细讨论。

1.Tanh

Tanh函数是Sigmoid函数的一种变种，取值范围为 [-1 , 1]，它解决了Sigmoid函数的非0均值的问题，公式、图像以及导数图像如下图所示：

2.Relu

目前比较受欢迎的激活函数是Relu，公式简单，但是非常好用，公式如下所示，输入小于0时输出为0，大于0时输出为本身。

Relu解决的问题：
​ 1、解决了梯度消失的问题
​ 2、公式简单没有指数运算，计算快
​ 3、x>0时，梯度为1，无梯度耗散问题，收敛速度快
Relu存在的问题：
​ 可能出现神经元死亡，权重无法更新：首先复习前向传播和反向传播。