激活函数总结（十五）：振荡系列激活函数补充(SQU、NCU、DSU、SSU)

激活函数总结（十五）：激活函数补充
1 引言
2 激活函数
2.1 Shifted Quadratic Unit (SQU) 激活函数
2.2 Non-Monotonic Cubic Unit (NCU) 激活函数
2.3 Decaying Sine Unit (DSU) 激活函数
2.4 Shifted Sinc Unit (SSU) 激活函数
3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文章中进行添加补充。

2 激活函数
本文提出了四种振荡激活函数（SQU、NCU、DSU、SSU）。振荡激活函数对所有输入都是非饱和的，从而改善了梯度流并加快了收敛速度。使用振荡激活函数代替流行的单调或非单调单零激活函数，能使神经网络训练速度更快，并以更少的层数解决分类问题。

当前该系列振荡激活函数很少使用，较为常用的为GCU和ASU振荡激活函数。。。。

2.1 Shifted Quadratic Unit (SQU) 激活函数
论文链接：Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

其数学表达式为和数学图像分别如下所示：
f ( x ) = x 2 + x f(x)=x^2+x
f(x)=x 
2
 +x

2.2 Non-Monotonic Cubic Unit (NCU) 激活函数
论文链接：Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

其数学表达式为和数学图像分别如下所示：
f ( x ) = x − x 3 f(x)=x-x^3
f(x)=x−x 
3
 

2.3 Decaying Sine Unit (DSU) 激活函数
论文链接：Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

f ( x ) = π ∗ s i n c ( x − π ) f(x)= \pi * sinc(x- \pi )
f(x)=π∗sinc(x−π)

2.4 Shifted Sinc Unit (SSU) 激活函数
论文链接：Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

f ( x ) = π 2 ∗ ( s i n c ( x − π ) − s i n c ( x + π ) ) f(x)= \frac{\pi}{2} * (sinc(x- \pi ) - sinc(x+ \pi ))
f(x)= 
2
π
​
 ∗(sinc(x−π)−sinc(x+π))

3. 总结
到此，使用 激活函数总结（十五） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/qq_36758270/article/details/132361109