SignReLU激活函数

SignReLU 激活函数

文章链接：[Research on convolutional neural network based on improved ReLU piecewise activatio function ]

年份：2018

介绍

饱和激活函数中存在一种激活函数称为Softsign激活函数，与双曲正切Tanh的曲线类似，具体的函数公式为：
$$Softsign(x)=\frac{x}{1+|x|}$$
Softsign的曲线如下图所示，Softsign由于其平滑的渐近线，饱和较为缓慢，因此训练时更为稳健，并且获得的激活值均匀分布在大量非线性但梯度流较好的区域，具有较好的容错能力。

由于ReLU激活函数能有效缓解梯度消失和较好的稀疏性，结合Softsign非线性程度高、容错能力强的特点，提出了一种改进的ReLu分割修正激活函数，称为SoftReLU激活函数，公式为：
$$f(x)=\{\begin{array}{ll}x,& x\ge 0\\ \alpha \frac{x}{1+|x|},& x<0\end{array}$$
当$\alpha =0$时，SoftReLU为ReLU。

SoftReLU的导数为：
$$f(x)=\{\begin{array}{ll}1,& x\ge 0\\ \alpha \frac{1}{(1+|x|{)}^2},& x<0\end{array}$$
SoftReLU的函数曲线如下图：

SoftReLU的导数曲线如下图：

分析

• 超参数$\alpha$决定了负区域函数曲线的饱和点，负区域的饱和值为$-\alpha$。
• 通常情况下$1>\alpha >0$，是超参数，需要人工选择。
• Softsign虽然是连续函数，但在$x=0$处(除$\alpha =0$)是不可微，也就是说Softsign是非光滑函数。
• 导数的计算存在幂函数，计算量大。