RMAF激活函数

RMAF激活函数

论文：RMAF:ReLU-Memristor-Like Activation Function for Deep Learning

年份：2020

该函数的由来是记忆窗口函数，提出了一个记忆窗口函数：
$$RM(x)=j(\frac{1}{(0.25t\cdot (1+e^{-x})+0.75{)}^p})$$
在将RM(x)与$\alpha x$相乘，由此改为激活函数：
$$RMAF(x)=j(\frac{1}{(0.25\cdot (1+e^{-x})+0.75{)}^p})\cdot \alpha x$$
其中参数$\alpha$为可训练参数，参数$p>0$，控制区域的平坦度。通过参数的调整，$j$和$p$使函数类似于ReLU，可以扩展到任意更定的网络。
具体的函数曲线如下图所示：

该函数的导数为：
$$\frac{\partial f(x)}{\partial x}=\frac{\alpha }{(0.25(1+e^{-x})+0.75{)}^p}+\frac{0.25p\alpha x{e}^{-x}}{(0.25(1+e^{-x})+0.75{)}^{p+1}}$$
RMAF导数曲线如下图所示：

总结

• RMAF是基于记忆窗口函数的特性，该函数可以对深度网路进行调整。
• RMAF由常数超参数$\alpha$和阈值$p$组成，使得该函数平滑且不单调。
• 从该函数的梯度可以看出，梯度计算较为复杂，训练时间较长。