深度学习常见的激活函数

一，什么的激活函数

激活函数是神经网络中对数据做非线性变换的函数。如下所示：

输入的x值，经过权值相乘合并之后再经过‘激活函数’得到一个映射值。

二，激活函数的作用

因为线性的数据表达过于单一，若没有激活函数，再多层的网络也不过是多套了几层的线性函数而已。以分类为例，线性函数只能处理线性可分的问题，对于复杂点的就无能为力了。而使用激活函数对线性数据改变之后，数据就是非线性的了。理论上网络层数足够的话可以拟合出任意函数，可以解决任何问题。

三，常用的激活函数

1，sigmoid函数

这是神经网络最出名的激活函数了，数学表达，和图像如下所示：

    

 

缺点：
1：在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大。
2：Sigmoid 的 output 不是0均值（即zero-centered）。这是不可取的，因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。 

2，Relu函数

公式如下：

函数图像和函数梯度的图像如下：

计算速度快，收敛速度快

3，tanh函数

数学表达如下：

函数图像和函数梯度的图像如下：

 

4,ELU (Exponential Linear Units) 函数

数学表达形式：

函数图像与梯度图像

ps：

1）深度学习往往需要大量时间来处理大量数据，模型的收敛速度是尤为重要的。所以，总体上来讲，训练深度学习网络尽量使用zero-centered数据 (可以经过数据预处理实现) 和zero-centered输出。所以要尽量选择输出具有zero-centered特点的激活函数以加快模型的收敛速度。
2）如果使用 ReLU，那么一定要小心设置 learning rate，而且要注意不要让网络出现很多 “dead” 神经元，如果这个问题不好解决，那么可以试试 Elu

3）少用 sigmoid，你可以试试 tanh，不过可以预期它的效果会比不上 ReLU 和 Maxout.

 

参考

https://blog.csdn.net/tyhj_sf/article/details/79932893