激活函数总结（二十一）：激活函数补充(APL、Inverse Cubic)

激活函数总结（二十一）：激活函数补充
1 引言
2 激活函数
2.1 Adaptive piecewise linear（APL）激活函数
2.2 Inverse Cubic激活函数
3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数
2.1 Adaptive piecewise linear（APL）激活函数
论文链接：https://arxiv.org/pdf/1512.07030.pdf
APL 激活函数是一种非线性激活函数，全称为 “Asymmetrical Piecewise Linear Unit”（不对称分段线性单元）。它与一些常见的激活函数（如 ReLU、Leaky ReLU 等）不同，具有不对称的线性变换，可以引入更多的非线性性质。其数学表达式和数学图像分别如下所示：
A P L ( x ) = m a x ( 0 , x ) + ∑ s = 1 S a i s m a x ( 0 , − x + b i s ) APL(x)=max(0,x)+\sum_{s=1}^{S}a_i^smax(0,-x+b_i^s)
APL(x)=max(0,x)+ 
s=1
∑
S
​
 a 
i
s
​
 max(0,−x+b 
i
s
​
 )

优点：

非线性性质： APL 激活函数引入了非线性性质，使得神经网络可以更好地捕捉输入数据中的非线性模式。

分段线性特性： APL 激活函数通过分段线性变换，允许在不同的输入范围内引入不同的线性特性，增加了网络的灵活性。

参数控制： 通过调整参数 a i s a_i^sa 
i
s
​
  和 b i s b_i^sb 
i
s
​
 ，可以精细调节 APL 激活函数的斜率和分段位置，以适应不同的任务需求。

可解释性： APL 激活函数的表达式具有明确的形式，参数 a i s a_i^sa 
i
s
​
  和 b i s b_i^sb 
i
s
​
 可以对激活函数的形状进行解释。

缺点：

复杂性： APL 激活函数的数学表达式较为复杂，包含了多个参数和分段线性操作，可能增加了计算的复杂性。

参数设置： 需要仔细调整参数 a i s a_i^sa 
i
s
​
  和 b i s b_i^sb 
i
s
​
 才能获得最佳性能，这可能需要一些实验和调试。

计算开销： 由于包含了多个分段线性操作，可能在计算上相对于一些简单的激活函数而言具有一定的计算开销。

可解释性挑战： 尽管有明确的形式，但对于一些非专业人士来说，理解参数 a i s a_i^sa 
i
s
​
  和 b i s b_i^sb 
i
s
​
  如何影响激活函数的行为可能具有一定挑战。

总体而言，APL 激活函数通过引入分段线性特性和参数控制，可以在特定问题和网络结构中发挥作用。 很少使用。。。。。。

2.2 Inverse Cubic激活函数
函数链接：https://en.wikipedia.org/w/index.php?title=Activation_function&oldid=760259047#Comparison_of_activation_functions

Inverse Cubic激活函数是维基百科中的一个函数，其数学表达式如下所示：
f ( x ) = ( 9 x 2 + 4 + 3 x 2 ) 1 3 − ( 9 x 2 + 4 + 3 x 2 ) − 1 3 f(x)=(\frac{\sqrt{9x^2+4}+3x}{2})^{\frac13}-(\frac{\sqrt{9x^2+4}+3x}{2})^{\frac{-1}{3}}
f(x)=( 
2
9x 
2
 +4
​
 +3x
​
 ) 
3
1
​
 
 −( 
2
9x 
2
 +4
​
 +3x
​
 ) 
3
−1
​
 

优点：

引入非线性性质： 这个激活函数引入了非线性特性，有助于神经网络捕捉数据中的非线性模式。
对称性： 激活函数的形式表现出一定的对称性，这可能在某些情况下对于数据建模具有一定的好处。
连续性： 尽管形式复杂，但是这个激活函数是连续的，在计算梯度和进行优化时可能更容易处理。
缺点：

复杂性： 这个激活函数的表达式非常复杂，包含多个数学运算，可能增加了计算的复杂性，尤其是在大规模的神经网络中。
数值稳定性： 由于激活函数中包含根号运算，可能在输入值较小时导致数值不稳定性，影响计算和优化过程。
梯度计算： 由于激活函数的复杂性，计算其导数可能相对困难，尤其是在自动微分框架中。
解释性： 由于其数学形式的复杂性，这个激活函数可能在解释性方面存在挑战，对于非专业人士来说可能不容易理解。
总之，虽然这个激活函数具有一些独特的特点，但是其复杂性和数值稳定性问题可能限制了其在实际应用中的使用。

3. 总结
到此，使用 激活函数总结（二十一） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/qq_36758270/article/details/132461495