激活函数总结(三十五):激活函数补充
1 引言
2 激活函数
2.1 KAF激活函数
2.2 Siren激活函数
3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU、FReLU、CReLU)。在这篇文章中,会接着上文提到的众多激活函数继续进行介绍,给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图:
2 激活函数
2.1 KAF激活函数
论文链接:Kafnets: kernel-based non-parametric activation functions for neural networks
KAF(Kernel Activation Function)旨在通过引入核函数的概念来提高神经网络的性能。KAF 激活函数的主要思想是将输入通过核函数进行映射,然后再应用标准的激活函数,从而实现更高维度的非线性变换。这可以帮助神经网络更好地建模非线性关系。其数学表达式和数学图像分别如下所示:
f ( s ) = ∑ i = 1 D α i κ ( s , d i ) f(s) = \sum_{i=1}^D \alpha_i \kappa( s, d_i)
f(s)=
i=1
∑
D
α
i
κ(s,d
i
)
其中, 内核元素的字典 d 0 , … , d D d_0, \ldots, d_Dd
0
,…,d
D
通过采样修复 x xx 轴,在 0 附近具有均匀的步长; 用户选择内核函数(例如,高斯,ReLU,Softplus)和内核元素的数量 D DD 作为超参数。更大的字典导致更具表现力的激活函数和更多的可训练参数; 线性系数通过标准反向传播在每个神经元上独立调整。
优点:
非线性建模: KAF 允许神经网络进行非线性映射,有助于更好地捕获数据中的复杂模式和关系。
核方法: 引入核函数的思想可以使神经网络具备核方法的一些优点,如处理高维数据和学习复杂的非线性函数。
缺点:
计算成本: 使用核函数意味着需要计算输入的非线性映射,这可能会增加计算成本,尤其是在大规模数据和深层网络中。
超参数调整: 选择适当的核函数以及核函数的超参数可能需要一些经验和调整。
解释性: KAF 引入了更复杂的非线性映射,可能会降低模型的解释性。
在某些特殊情况下可能有所应用,尤其是使用核函数时,一般不使用。。。。
2.2 Siren激活函数
论文链接:Implicit Neural Representations with Periodic Activation Functions
Siren(Sinusoidal Representation Network)是隐式神经表示的周期性激活函数。具体来说,它使用正弦作为周期性激活函数。其数学表达式和数学图像分别如下所示:
Φ ( x ) = W n ( ϕ n − 1 ∘ ϕ n − 2 ∘ ⋯ ∘ ϕ 0 ) ( x ) + b n ϕ i ( x i ) = s i n ( W i x i + b i ) \Phi\left(x\right) = \textbf{W}_{n}\left(\phi_{n-1} \circ \phi_{n-2} \circ \dots \circ \phi_{0} \right)(x)+b_n \\ \phi_{i}(x_i)= sin(W_ix_i+b_i)
Φ(x)=W
n
(ϕ
n−1
∘ϕ
n−2
∘⋯∘ϕ
0
)(x)+b
n
ϕ
i
(x
i
)=sin(W
i
x
i
+b
i
)
优点:
平滑性: 正弦函数是一个平滑的函数,可以提供平滑的非线性变换,有助于避免梯度消失问题。
表示能力: Siren 激活函数具有强大的表示能力,能够适应多种数据模式,包括高频信号和图像中的细节。
可扩展性: Siren 可以用于处理不同尺度和分辨率的数据,因此在图像生成和处理方面表现出色。
缺点:
计算成本: 由于正弦函数涉及三角函数的计算,相对于某些简单的激活函数,Siren 可能具有较高的计算成本。
超参数调整: 对于正弦函数的参数(如频率)需要进行调整,这可能需要一些经验和实验。
解释性: 正弦函数不像某些其他激活函数那样具有直观的物理解释,这可能会降低模型的解释性。
Siren 激活函数通常用于生成模型、超分辨率任务和其他需要捕捉高频信息的任务中。
3. 总结
到此,使用 激活函数总结(三十五) 已经介绍完毕了!!! 如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出,后续会对其进行添加!!!!
如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。
————————————————
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/qq_36758270/article/details/132708119