论文方法介绍
给定一个带有参数 θ \theta θ的目标分类器 f f f,一个干净的样本 x ∈ X ⊂ R d x\in \mathcal{X} \subset \mathbb{R}^d x∈X⊂Rd。对抗攻击的目标是找到一个对抗样本 x a d v ∈ X x^{adv}\in \mathcal{X} xadv∈X满足如下条件: f ( x ; θ ) ≠ f ( x a d v ; θ ) s . t . ∥ x − x a d v ∥ < ε f(x;\theta)\ne f(x^{adv};\theta)\quad \mathrm{s.t.} \quad \|x-x^{adv}\|< \varepsilon f(x;θ)=f(xadv;θ)s.t.∥x−xadv∥<ε
定义1(梯度方差):给定一个带有参数 θ \theta θ的分类器 f f f和损失函数 J ( x , y ; θ ) J(x,y;\theta) J(x,y;θ),一个干净的样本 x ∈ X x \in \mathcal{X} x∈X,以及最大扰动 ϵ ′ \epsilon^{\prime} ϵ′,梯度方差定义为: V ϵ ′ g ( x ) = E ∥ x ′ − x ∥ p < ϵ ′ [ ∇ x ′ J ( x ′ , y ; θ ) ] − ∇ x J ( x , y ; θ ) V_{\epsilon^{\prime}}^g(x)=\mathbb{E}_{\|x^\prime -x\|_p < \epsilon^{\prime}}[\nabla_{x^{\prime}}J(x^{\prime},y;\theta)]-\nabla_x J(x,y;\theta) Vϵ′g(x)=E∥x′−x∥p<ϵ′[∇x′J(x′,y;θ)]−∇xJ(x,y;θ)
为了方便观看,将
V
ϵ
′
g
(
x
)
V_{\epsilon^{\prime}}^g(x)
Vϵ′g(x)的记号简化为
V
(
x
)
V(x)
V(x),令
ϵ
′
=
β
⋅
ϵ
\epsilon^{\prime}=\beta \cdot \epsilon
ϵ′=β⋅ϵ,其中
β
\beta
β是超参数。在实际中,由于输入空间是离散的,所以不能直接计算
E
∥
x
′
−
x
∥
p
<
ϵ
′
[
∇
x
′
J
(
x
′
,
y
;
θ
)
]
\mathbb{E}_{\|x^\prime -x\|_p < \epsilon^{\prime}}[\nabla_{x^{\prime}}J(x^{\prime},y;\theta)]
E∥x′−x∥p<ϵ′[∇x′J(x′,y;θ)]所以,通过采样
N
N
N个样本将上公式离散化为
V
(
x
)
=
1
N
∑
i
=
1
N
∇
x
i
J
(
x
i
,
y
;
θ
)
−
∇
x
J
(
x
,
y
;
θ
)
V(x)=\frac{1}{N}\sum\limits_{i = 1}^N \nabla_{x^i}J(x^i,y;\theta)-\nabla_x J(x,y;\theta)
V(x)=N1i=1∑N∇xiJ(xi,y;θ)−∇xJ(x,y;θ)其中
x
i
=
x
+
r
i
x^i = x + r_i
xi=x+ri,
r
i
∼
U
[
−
(
β
⋅
ϵ
)
d
,
(
β
⋅
ϵ
)
d
]
r_i \sim U[-(\beta \cdot \epsilon)^d ,(\beta \cdot \epsilon)^d]
ri∼U[−(β⋅ϵ)d,(β⋅ϵ)d],
U
[
a
d
,
b
d
]
U[a^d,b^d]
U[ad,bd]表示的是
d
d
d维均匀分布。
在获得梯度方差之后,可以用第
t
−
1
t-1
t−1步迭代的梯度方差
V
(
x
t
−
1
a
d
v
)
V(x^{adv}_{t-1})
V(xt−1adv)来调整第
t
t
t步关于对抗样本
x
t
a
d
v
x_{t}^{adv}
xtadv的梯度。
V
M
I
\mathrm{VMI}
VMI-
F
G
S
M
\mathrm{FGSM}
FGSM具体的算法流程图如下所示: