概
本文介绍AUGMIX算法——对现有的的一些augmentation方法进行混用, 并构建了一个新的损失函数.
主要内容
其中
D
i
r
i
c
h
l
e
t
\mathrm{Dirichlet}
Dirichlet为狄利克雷分布.
通过实验指出, Augmentation的混用(增加样本的多样性)以及损失函数的设计都是有利于稳定性以及不确定度的.
J
S
(
p
o
r
i
g
;
p
a
u
g
m
i
x
1
;
p
a
u
g
m
i
x
2
)
=
1
3
(
K
L
[
p
o
r
i
g
∥
M
]
+
K
L
[
p
a
u
g
m
i
x
1
∥
M
]
+
K
L
[
p
a
u
g
m
i
x
2
∥
M
]
)
,
\mathbf{JS}(p_{orig};p_{augmix1};p_{augmix2}) = \frac{1}{3} (\mathbf{KL}[p_{orig}\|M]+\mathbf{KL}[p_{augmix_1}\| M] + \mathbf{KL}[p_{augmix_2}\| M]),
JS(porig;paugmix1;paugmix2)=31(KL[porig∥M]+KL[paugmix1∥M]+KL[paugmix2∥M]),
其中
M
:
=
(
p
o
r
i
g
+
p
a
u
g
m
i
x
1
+
p
a
u
g
m
i
x
2
)
/
3
M:= (p_{orig} + p_{augmix1}+p_{augmix2})/3
M:=(porig+paugmix1+paugmix2)/3.
实验的指标
Clean Error: 指在干净样本上的错误率;
E
c
,
s
E_{c,s}
Ec,s: 指在困难等级
1
≤
s
≤
5
1 \le s \le 5
1≤s≤5, 污染(摄动, corruption)
c
c
c下的错误率;
C
E
c
=
∑
s
=
1
5
E
c
,
s
/
∑
s
=
1
5
E
c
,
s
A
l
e
x
n
e
t
CE_c = \sum_{s=1}^5E_{c,s}/ \sum_{s=1}^5 E_{c,s}^{\mathrm{Alexnet}}
CEc=∑s=15Ec,s/∑s=15Ec,sAlexnet;
m
C
E
mCE
mCE:
m
e
a
n
c
C
E
c
\mathrm{mean}_{c} \: CE_{c}
meancCEc;
flip probability (FP): 微小摄动下, 样本预测类改变的概率; 如何估计?
m
F
P
mFP
mFP: the mean flip probability (对于所有的
c
c
c); -衡量鲁棒性;
m
F
R
mFR
mFR:
m
F
P
mFP
mFP 比上 Alexnet 的
m
F
P
mFP
mFP ;
不确定估计:
E
C
[
P
(
Y
=
Y
^
∣
C
=
c
)
−
c
)
2
]
,
\sqrt{\mathbb{E}_C [\mathbb{P}(Y = \hat{Y} | C=c)-c)^2]},
EC[P(Y=Y^∣C=c)−c)2],
其中
C
C
C为预测
Y
^
\hat{Y}
Y^正确的
c
o
n
f
i
d
e
n
c
e
confidence
confidence(如果输出是一个概率向量, 那么就应当是对应类别的概率)， 采用如下方式估计:
其中
B
i
B_i
Bi, 是我们按照confidence的序来将测试样本分割为
(
B
1
,
B
2
,
…
,
B
b
)
(B_1, B_2, \ldots, B_b)
(B1,B2,…,Bb).
3812
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
