ABReLU激活函数
论文:Average Biased ReLU Based CNN Descriptor for Improved Face Retrieval
年份:2022
ABReLU是一种新的数据相关的平均偏差校正线性单元。ReLU激活函数当负输入时,负向梯度逐渐减小,而我们总是期望输出的激活平均值为0方差为1,可是由于ReLU的负区域的死亡问题,在经过一些层之后,激活的平均值远离0。ABReLU的设计就是为了在一定程度上这个问题,它允许甚至是负面数据被传递到下一层。
ABReLU通过利用输入体积的平均属性来激活数据的。它像过滤器一样,只通过满足平均偏差标准的信号。假设在第
n
t
h
n^{th}
nth层的任意网络中使用ABReLU,
I
i
n
I_i^{n}
Iin和
I
o
n
I_o^n
Ion分别表示第
n
n
n层的激活输入和激活输出。则输出激活
I
o
n
I_o^n
Ion的每个元素
ρ
t
h
\rho^th
ρth被表示为:
I
o
n
(
ρ
)
=
{
I
i
n
(
ρ
)
−
β
,
I
i
n
(
ρ
)
−
β
>
0
0
,
o
t
h
e
r
w
i
s
e
I_o^n(\rho) = \begin{cases} I_i^n(\rho) - \beta, & I_i^n(\rho)-\beta>0\\ 0, &otherwise \end{cases}
Ion(ρ)={Iin(ρ)−β,0,Iin(ρ)−β>0otherwise
其中
ρ
=
(
ρ
1
,
ρ
2
,
⋯
,
ρ
d
)
\rho = (\rho_1, \rho_2, \cdots, \rho_d)
ρ=(ρ1,ρ2,⋯,ρd)为表示元素的位置,
d
d
d是输入激活的
I
i
n
I_i^n
Iin的维度,
D
k
D_k
Dk是输入激活
I
i
n
I_i^n
Iin第
k
t
h
k^{th}
kth个维度的大小 ,
ρ
k
∈
[
1
,
D
k
]
\rho_k \in [1, D_k]
ρk∈[1,Dk],
∀
k
∈
[
1
,
d
]
\forall k\in[1,d]
∀k∈[1,d],
β
\beta
β为平均偏置因子,定义如下:
β
=
α
×
A
i
n
\beta = \alpha \times A_i^n
β=α×Ain
其中,
α
\alpha
α为经验设定的参数,
A
i
n
A_i^n
Ain为输入体积的平均值,计算如下:
A
i
n
=
∑
ρ
1
=
1
D
1
∑
ρ
2
=
1
D
2
⋯
∑
ρ
d
=
1
D
d
(
ρ
1
,
ρ
2
,
⋯
,
ρ
d
)
D
1
×
D
2
×
⋯
×
D
d
A_i^n = \frac{\sum_{\rho_1 = 1}^{D^1}\sum_{\rho_2 = 1}^{D^2}\cdots \sum_{\rho_d = 1}^{D^d}(\rho_1, \rho_2, \cdots, \rho_d)}{D_1 \times D_2 \times \cdots \times D_d}
Ain=D1×D2×⋯×Dd∑ρ1=1D1∑ρ2=1D2⋯∑ρd=1Dd(ρ1,ρ2,⋯,ρd)
具体的函数图像如下图
ABReLU计算的平均偏差就像控制器一样控制着正负值的支配位置。如果 A i n < 0 A_i^n<0 Ain<0,负值占主导地位,那么负值被利用的可能性较大。ABReLU不像ReLU那样简单的丢弃负值,而是找到重要的负值,并增加偏差,使其转向正值。