Paper笔记： 《Towards Evaluating the Robustness of Neural Networks》（CW攻击）

论文： https://arxiv.org/pdf/1608.04644.pdf?source=post_page
代码：https://github.com/Harry24k/CW-pytorch

Motivation

  又是一篇对抗攻击领域的基石之作，论文的思路主要针对当时最强的防御方法——防御性蒸馏。在当时，几乎所有的攻击方法都无法攻破防御性蒸馏，而本文的方法在面对防御性蒸馏时，取得了几乎100%的攻击成功率，这也再一次推动了对抗攻防算法的演进。

Contribution

  作者提出了一种新的攻击方法（业界常称之为CW），可以以几乎100%的成功率攻破适应性防御，并成为检验防御模型效果的一个新的baseline。作者将本文的贡献总结为以下四点：
（1） 基于$L_0$、$L_2$和$L_{\infty }$距离设计了三种攻击方法。
（2） 利用这三种攻击方法攻破防御性蒸馏。
（3） 提出利用高置信度的攻击样本来进行迁移攻击，作为测试模型鲁棒性的手段，同时这种方法也成功攻破了防御性蒸馏。
（4） 系统性地评估了不同损失函数对攻击效果的影响，发现损失函数的选择影响巨大。

Method

目标函数

  首先来看对抗攻击优化函数的最基本形式：
$$\begin{gathered} minimizeD(x,x+\delta ) \\ suchthatC(x+\delta )=tx+\delta \in [0,1{]}^n \end{gathered}$$
  上述的优化问题是无法直接求解的，因此需要定义关于分类的损失函数$f$，使得当且仅当$f(x+\delta )\le 0$时，$C(x+\delta )=t$成立，从而联立$D$与$f$，形成可解的优化函数形式。这里作者讨论了以下7种损失函数，其中，$softplus(x)=log(1+exp(x))$，而$loss$代表交叉熵损失函数。
$$\begin{gathered} f_1(x^{\prime })=-los{s}_{F,t}(x^{\prime })+1 \\ {f}_2(x^{\prime })=(\underset{i\ne t}{\max }F(x^{\prime }{)}_i- \end{gathered}$$