深度学习的激活函数学习

激活函数层又称为非线性映射层，作用是增加整个网络的非线性（即表达能力或抽象能力）

深度学习之所以拥有强大的表达能力，就在于激活函数的非线性

常用的激活函数有Sigmoid、tanh(x)、Relu、Relu6、Leaky Relu、参数化Relu、随机化Relu、ELU

sigmoid 函数，即著名的Logistic函数，将变量映射到（0,1）之间，

缺点：

1，输出的期望均值是0.5，不符合均值为0的理想状态

2. 受到现有的梯度下降算法所限制，在-5和+5之外的区间，梯度计算为0，容易饱和，杀死梯度，这样在反向传播的时候，就几乎没有什么权重了。

 

Relu函数

 

 

优点：

1.计算简单，不用像sigmoid需要进行指数计算

2.消灭了正半轴上的死区

3.ReLU对于随机梯度下降的收敛有巨大的加速作用，由于他的线性非饱和的公式

 

缺点：

relu可能会导致一些神经网络的死亡，比如很大的负梯度流经过时候，relu就不能再被其他任何数据激活，输出永远是0。

通过其他的梯度下降方法，如动量法，RMS，adam等可以优化