常见的激活函数

Sigmoid函数：

Sigmoid 是常用的非线性的激活函数，可以将全体实数映射到（0， 1）区间上，其采用非线性方法将数据进行归一化处理；sigmoid函数通常用在回归预测和二分类（即按照是否大于0.5进行分类）模型的输出层中。
函数：

求导：

优点： Sigmoid的取值范围在(0, 1)，而且是单调递增，比较容易优化、 Sigmoid求导比较容易，可以直接推导得出。**缺点：**Sigmoid函数收敛比较缓慢、由于Sigmoid是软饱和，容易产生梯度消失，对于深度网络训练不太适合（从图上sigmoid的导数可以看出当x趋于无穷大的时候，也会使导数趋于0）、Sigmoid函数并不是以（0,0）为中心点。

ReLU函数：

Relu函数的优点：1.在SGD（随机梯度下降算法）中收敛速度够快。2.不会出现像Sigmoid那样梯度消失问题。3.提供了网络稀疏表达能力。4.在 无监督训练中也有良好的表现。缺点：1.不以0为中心。2.前向传导（forward pass）过程中，如果 x < 0，则神经元保持非激活状态，且在后向传导（backward pass）中「杀死」梯度。这样权重无法得到更新，网络无法学习。神经元死亡是不可逆的。

Softmax函数：

在使用广义线性模型拟合这个多项式分布模型之前，需要先推导一个函数，这个函数在广义线性模型的目标函数中会用到。这个函数叫做Softmax函数。SoftMax公式（向量形式表示的公式）:

softmax回归做的事情是通过对数似然函数产生θ的极大似然估计。softmax激活函数对参数的优化则是通过优化交叉熵损失函数的。Softmax可以进行求导反向传播。

LeakyRelu函数：

Leaky ReLU 是为解决“ ReLU 死亡”问题的尝试。

ReLU 中当 x<0 时，函数值为 0 。而 Leaky ReLU 则是给出一个很小的负数梯度值，比如 0.01 。
优点:不会过拟合(saturate)、计算简单有效比sigmoid/tanh收敛快。

RreLu:

RReLU也是Leaky ReLU的一个变体。在RReLU中，负值的斜率在训练中是随机的，在之后的测试中就变成了固定的了。RReLU的亮点在于，在训练环节中，aji是从一个均匀的分布U(I,u)中随机抽取的数值。RReLU中的aji是一个在一个给定的范围内随机抽取的值，这个值在测试环节就会固定下来。RReLU的亮点在于，在训练环节中，aji是从一个均匀的分布U(I,u)中随机抽取的数值。形式上来说，我们能得到以下结果：

PReLu:

PReLU也是针对ReLU的一个改进型，在负数区域内，PReLU有一个很小的斜率，这样也可以避免ReLU死掉的问题。相比于ELU，PReLU在负数区域内是线性运算，斜率虽然小，但是不会趋于0，这算是一定的优势。PReLU的公式，里面的参数α一般是取0~1之间的数，而且一般还是比较小的，如零点零几。当α=0.01时，我们叫PReLU为Leaky ReLU，算是PReLU的一种特殊情况.其中是超参数。


这里引入了一个随机的超参数，它可以被学习，因为你可以对它进行反向传播。这使神经元能够选择负区域最好的梯度，有了这种能力，它们可以变成 ReLU 或 Leaky ReLU。负值部分的斜率是根据数据来定的，而非预先定义的。
对比：
ReLU family:

ReLU系列对比：

Maxout:Maxout模型实际上也是一种新型的激活函数，在前馈式神经网络中，Maxout的输出即取该层的最大值，在卷积神经网络中，一个Maxout feature map可以是由多个feature map取最值得到。maxout的拟合能力是非常强的，它可以拟合任意的的凸函数。但是它同dropout一样需要人为设定一个k值。为了便于理解，假设有一个在第i层有2个节点第（i+1）层有1个节点构成的神经网络。
是一个可学习的分段线性函数。

参考链接：https://blog.csdn.net/m0_38065572/article/details/104947345?ops_request_misc=%257B%2522request
https://blog.csdn.net/ChenVast/article/details/81382939?ops_request_misc=%257B%2522request

ELU:

ELU函数是针对ReLU函数的一个改进型，相比于ReLU函数，在输入为负数的情况下，是有一定的输出的，而且这部分输出还具有一定的抗干扰能力。这样可以消除ReLU死掉的问题，不过还是有梯度饱和和指数运算的问题。


特点：右侧的线性部分能够缓解梯度消失,左侧的软饱和能够对于输入变化鲁棒.而且收敛速度更快.