重新理解激活函数

神经网络里引入激活函数的目的：

a. 不使用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。

b. 使用激活函数，能够给神经元引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以利用到更多的非线性模型中。

 激活函数需要具备以下几点性质:

            1. 连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
            2. 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
            3. 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。 

 ReLU激活函数

用ReLU代替了传统的Tanh或者Logistic。好处有：

1. ReLU本质上是分段线性模型，前向计算非常简单，无需指数之类操作；
2. ReLU的偏导也很简单，反向传播梯度，无需指数或者除法之类操作；
3. ReLU不容易发生梯度发散问题，Tanh和Logistic激活函数在两端的时候导数容易趋近于零，多级连乘后梯度更加约等于0；
4. ReLU关闭了右边，从而会使得很多的隐层输出为0，即网络变得稀疏，起到了类似L1的正则化作用，可以在一定程度上缓解过拟合。

启发问题：

  现阶段常用的激活函数有哪些？

除了sigmod，tanh，relu,swish等外，还有哪些特殊的激活函数在某些场合有特殊的功用？

激活函数在BP中扮演了一个什么角色？又是如何影响它本身的选择的？