激活函数总结（三十三）：激活函数补充(QReLU、m-QReLU)

最新推荐文章于 2024-10-01 10:05:29 发布

生活需要深度

最新推荐文章于 2024-10-01 10:05:29 发布

阅读量701

点赞数 8

文章标签：深度学习

本文链接：https://blog.csdn.net/u012294613/article/details/140918275

版权

AI 专栏收录该内容

118 篇文章 8 订阅

订阅专栏

激活函数总结（三十三）：激活函数补充
1 引言
2 激活函数
2.1 QReLU激活函数
2.2 m-QReLU激活函数
3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：

2 激活函数
2.1 QReLU激活函数
论文链接：Parisi, Luca, Daniel Neagu, Renfei Ma, and Felician Campean. “QReLU and m-QReLU: Two novel quantum activation functions to aid medical diagnostics.” arXiv preprint arXiv:2010.08031 (2020).

QReLU（Quantum ReLU ）激活函数以定量的方式消除“死亡ReLU”的问题，即通过在以前的解为负的地方实现正解。作者通过将量子方法和量子纠缠原理应用于ReLU和Leaky ReLU，最终得到了该激活函数。其数学表达式和数学图像分别如下所示：
Q R e L U ( x ) = { x , if x > 0 0.01 ⋅ x ( x − 2 ) , if x ≤ 0 QReLU(x) =
{x,0.01⋅x(x−2),if x>0if x≤0
{x,if x>00.01⋅x(x−2),if x≤0
QReLU(x)={
x,
0.01⋅x(x−2),

if x>0
if x≤0

优点：

高泛化性：使用QReLU或m-QReLU可以在cnn和任何cnn衍生模型(如AlexNet、ResNet、DenseNet、CondenseNet、cCondensenet和VGG 16)中消除对多个卷积层的需求
更少的超参数优化：利用QReLU或m-QReLU作为CNN中的激活函数可以最大限度地减少对CNN超参数优化的需求
缺点：

高计算复杂度：QReLU或m-QReLU的总体计算成本更高
该函数现在几乎没有使用。。。。

2.2 m-QReLU激活函数
论文链接：Parisi, Luca, Daniel Neagu, Renfei Ma, and Felician Campean. “QReLU and m-QReLU: Two novel quantum activation functions to aid medical diagnostics.” arXiv preprint arXiv:2010.08031 (2020).

m-QReLU（modified-QReLU）激活函数是利用量子叠加原理对QReLU的正负解进行叠加得到的。其数学表达式和数学图像分别如下所示：
m − Q R e L U ( x ) = { x , if x > 0 0.01 ⋅ x − x , if x ≤ 0 m-QReLU(x) =
{x,0.01⋅x−x,if x>0if x≤0
{x,if x>00.01⋅x−x,if x≤0
m−QReLU(x)={
x,
0.01⋅x−x,

if x>0
if x≤0