RMAF激活函数
论文:RMAF:ReLU-Memristor-Like Activation Function for Deep Learning
年份:2020
该函数的由来是记忆窗口函数,提出了一个记忆窗口函数:
R
M
(
x
)
=
j
(
1
(
0.25
t
⋅
(
1
+
e
−
x
)
+
0.75
)
p
)
RM(x) = j(\frac{1}{(0.25t\cdot (1+e^{-x})+0.75)^p})
RM(x)=j((0.25t⋅(1+e−x)+0.75)p1)
在将RM(x)与
α
x
\alpha x
αx相乘,由此改为激活函数:
R
M
A
F
(
x
)
=
j
(
1
(
0.25
⋅
(
1
+
e
−
x
)
+
0.75
)
p
)
⋅
α
x
RMAF(x) = j(\frac{1}{(0.25\cdot (1+e^{-x})+0.75)^p})\cdot \alpha x
RMAF(x)=j((0.25⋅(1+e−x)+0.75)p1)⋅αx
其中参数
α
\alpha
α为可训练参数,参数
p
>
0
p>0
p>0,控制区域的平坦度。通过参数的调整,
j
j
j和
p
p
p使函数类似于ReLU,可以扩展到任意更定的网络。
具体的函数曲线如下图所示:
该函数的导数为:
∂
f
(
x
)
∂
x
=
α
(
0.25
(
1
+
e
−
x
)
+
0.75
)
p
+
0.25
p
α
x
e
−
x
(
0.25
(
1
+
e
−
x
)
+
0.75
)
p
+
1
\frac{\partial f(x)}{\partial x} = \frac{\alpha}{(0.25(1+e^{-x})+0.75)^p} + \frac{0.25p \alpha x e^{-x}}{(0.25(1+e^{-x})+0.75)^{p+1}}
∂x∂f(x)=(0.25(1+e−x)+0.75)pα+(0.25(1+e−x)+0.75)p+10.25pαxe−x
RMAF导数曲线如下图所示:
总结
- RMAF是基于记忆窗口函数的特性,该函数可以对深度网路进行调整。
- RMAF由常数超参数 α \alpha α和阈值 p p p组成,使得该函数平滑且不单调。
- 从该函数的梯度可以看出,梯度计算较为复杂,训练时间较长。