激活函数总结（三十一）：激活函数补充(ELiSH、Hard ELiSH)

激活函数总结（三十一）：激活函数补充
1 引言
2 激活函数
2.1 ELiSH激活函数
2.2 Hard ELiSH激活函数
3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数
2.1 ELiSH激活函数
论文链接：Basirat, Mina, and Peter M. Roth. “The quest for the golden activation function.” arXiv preprint arXiv:1808.00783 (2018).

Exponential Linear Sigmoid SquasHing （ELiSH）是基于 Swish 的启发提出的一种激活函数。其数学表达式和数学图像分别如下所示：
E L i S H ( x ) = { x 1 + e − x , if  x ≥ 0 e x − 1 1 + e − x , if  x < 0 ELiSH(x) =
{x1+e−x,ex−11+e−x,if x≥0if x<0
{x1+e−x,if x≥0ex−11+e−x,if x<0
ELiSH(x)={ 
1+e 
−x
 
x
​
 ,
1+e 
−x
 
e 
x
 −1
​
 ,
​
  
if x≥0
if x<0
​

特点：

与Swish共享共同的属性，由ELU和Sigmoid组合而成。
ELiSH的Sigmoid部分改善了信息流，而线性部分解决了梯度消失的问题。
作为一种Swish激活函数的改进版本，在一定的领域有所应用。但是在当前仍不算是主流激活函数。。。。

2.2 Hard ELiSH激活函数
论文链接：Basirat, Mina, and Peter M. Roth. “The quest for the golden activation function.” arXiv preprint arXiv:1808.00783 (2018).

Hard Exponential Linear Sigmoid SquasHing （Hard ELiSH）是基于 Swish 的启发提出的另一种激活函数。其数学表达式和数学图像分别如下所示：
H E L i S H ( x ) = { x ⋅ m a x ( 0 , m i n ( 1 , x + 1 2 ) ) , if  x ≥ 0 ( e x − 1 ) ⋅ m a x ( 0 , m i n ( 1 , x + 1 2 ) ) , if  x < 0 HELiSH(x) =
{x⋅max(0,min(1,x+12)),(ex−1)⋅max(0,min(1,x+12)),if x≥0if x<0
{x⋅max(0,min(1,x+12)),if x≥0(ex−1)⋅max(0,min(1,x+12)),if x<0
HELiSH(x)={ 
x⋅max(0,min(1, 
2
x+1
​
 )),
(e 
x
 −1)⋅max(0,min(1, 
2
x+1
​
 )),
​
  
if x≥0
if x<0
​

特点：

HardELiSH 是负部分的 HardSigmoid 和 ELU 的乘法，是正部分的线性和 HardSigmoid 的乘法
作为一种Swish激活函数的改进版本，在一定的领域有所应用。但是在当前仍不算是主流激活函数。。。。

3. 总结
到此，使用 激活函数总结（三十一） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/qq_36758270/article/details/132516660