Second Order Optimization for Adversarial Robustness and Interpretability

Tsiligkaridis T., Roberts J. Second Order Optimization for Adversarial Robustness and Interpretability. arXiv preprint axXiv 2009.04923, 2020.

概

也算是一种对抗训练吧, 有区别的是构造对抗样本的方式, 以及用的是惩罚项而非仅用对抗样本训练.

主要内容

考虑干净样本$x$和扰动$v$, 则我们自然希望
$$\underset{\theta }{\min }\underset{\Vert v\Vert \le ϵ}{\max }\ell (x+v;\theta )-\ell (x),\text{\hspace{1em}(*)}$$
其中$\ell$是分类损失. 注意到右端项的二阶近似为
$$Q(v;x):={\nabla }_x\ell (x)\cdot v+\frac{1}{2}{v}^T{\nabla }_x\ell (x)v.\text{\hspace{1em}(3)}$$

故我们可以转而优化此近似项. 当然, 一般的AT方法是用project gradient去逼近右端项, 假设前者
$$v_Q=\arg \underset{\Vert v{\Vert }_p\le ϵ}{\max }Q(v;x),\text{\hspace{1em}(4)}$$
后者
$$v_A=\arg \underset{\Vert v{\Vert }_p\le ϵ}{\max }\ell (x+v).$$

那么二者的差距有下面的定理保证

说实话, 这个定理没多大意义.

如果单纯优化(*)没法带来精度, 所以构造一个正则化项
$$\underset{\theta }{\min }{\mathbb{E}}_{x\sim \mathcal{D}}[\ell (x)+r\cdot {\ell }_Q(x)],$$
其中${\ell }_Q(x)=\ell (x+v_Q)-\ell (x)$.

注: 有一个疑问, 按照道理$r\in (0,1)$, 可是论文的实验是$(0.5,1.5)$, 而且有几个实验挑了的确大于1, 这不就意味着需要$\min (1-r)\ell (x)$, 这不就让分类变差了?

(4)式的求解

作者利用Frank-Wofle (FW) 去求解(4)式, 即
$$\{\begin{array}{l}{s}^k:=\arg {\max }_{\Vert s{\Vert }_p\le ϵ}s\cdot {\nabla }_{v}Q(v^k)\\ v^{k+1}:=(1-{\gamma }^k)v^k+{\gamma }^k{s}^k,\end{array}\text{\hspace{1em}(7)}$$
其中$v^k=\frac{2}{k+2}$, $v^0=ϵg/\Vert g{\Vert }_p,g={\nabla }_x\ell (x)$. (7)式的第一步式可以显示求解的
$$s^k=P_{FW}(v^k;p)=\alpha \cdot \mathrm{s}\mathrm{g}\mathrm{n}({\nabla }_{v}Q(v^k{)}_i)|{\nabla }_{v}Q(v^k{)}_i{|}^{p/q},\text{\hspace{1em}(8)}$$
其中$\alpha$使得$\Vert s^k{\Vert }_p=ϵ$, $|x{|}^m$是逐项的.

因为
$${\nabla }_{x}Q(v)={\nabla }_x\ell (x)+{\nabla }_x^2\ell (x)v,\text{\hspace{1em}(9)}$$
而计算hessian矩阵需要大量的计算, 故采用差分逼近
FE：
$${\nabla }_x^2\ell (x)v\approx \frac{{\nabla }_x\ell (x+hv)-{\nabla }_x\ell (x)]}{h},\text{\hspace{1em}(10)}$$
CD:
$${\nabla }_x^2\ell (x)v\approx \frac{{\nabla }_x\ell (x+hv)-{\nabla }_x\ell (x-h)]}{2h}.\text{\hspace{1em}(11)}$$

超参数

$(h,r)$.
CIFAR10:
$L_2$: FE(3): (1.15, 1.05) , CD(3): (0.95, 0.999);
$L_{\infty }$: FE(3): (1.05, 1.05), CD(3): (0.95, 1.15).