SignReLU 激活函数
文章链接:[Research on convolutional neural network based on improved ReLU piecewise activatio function ]
年份:2018
介绍
饱和激活函数中存在一种激活函数称为Softsign激活函数,与双曲正切Tanh的曲线类似,具体的函数公式为:
S
o
f
t
s
i
g
n
(
x
)
=
x
1
+
∣
x
∣
Softsign(x ) = \frac{x}{1+|x|}
Softsign(x)=1+∣x∣x
Softsign的曲线如下图所示,Softsign由于其平滑的渐近线,饱和较为缓慢,因此训练时更为稳健,并且获得的激活值均匀分布在大量非线性但梯度流较好的区域,具有较好的容错能力。
由于ReLU激活函数能有效缓解梯度消失和较好的稀疏性,结合Softsign非线性程度高、容错能力强的特点,提出了一种改进的ReLu分割修正激活函数,称为SoftReLU激活函数,公式为:
f
(
x
)
=
{
x
,
x
≥
0
α
x
1
+
∣
x
∣
,
x
<
0
f(x) = \begin{cases} x, &x\ge0\\ \alpha \frac{x}{1+|x|}, & x<0 \end{cases}
f(x)={x,α1+∣x∣x,x≥0x<0
当
α
=
0
\alpha=0
α=0时,SoftReLU为ReLU。
SoftReLU的导数为:
f
(
x
)
=
{
1
,
x
≥
0
α
1
(
1
+
∣
x
∣
)
2
,
x
<
0
f(x) = \begin{cases} 1, &x\ge0\\ \alpha \frac{1}{(1+|x|)^2}, & x<0 \end{cases}
f(x)={1,α(1+∣x∣)21,x≥0x<0
SoftReLU的函数曲线如下图:
SoftReLU的导数曲线如下图:
分析
- 超参数 α \alpha α决定了负区域函数曲线的饱和点,负区域的饱和值为 − α -\alpha −α。
- 通常情况下 1 > α > 0 1>\alpha>0 1>α>0,是超参数,需要人工选择。
- Softsign虽然是连续函数,但在 x = 0 x=0 x=0处(除 α = 0 \alpha=0 α=0)是不可微,也就是说Softsign是非光滑函数。
- 导数的计算存在幂函数,计算量大。