C&W对抗攻击（Towards Evaluating the Robustnessof Neural Networks）

小黄要当程序员

已于 2024-04-01 16:15:34 修改

阅读量1.7k

点赞数 27

分类专栏：论文精读文章标签：人工智能算法机器学习深度学习论文阅读

于 2024-04-01 16:12:08 首次发布

本文链接：https://blog.csdn.net/a2333333_/article/details/137047450

版权

论文精读专栏收录该内容

7 篇文章 1 订阅

订阅专栏

本文介绍了2017年NicholasCarlini和DavidWagner提出的C&W对抗样本生成方法，针对防御蒸馏提出了基于三种距离的攻击策略，展示了L-BFGS、FGSM、JSMA和DeepFool等攻击方法。研究发现，C&W方法在小扰动下具有高攻击效率，同时评估了防御蒸馏的优缺点。

摘要由CSDN通过智能技术生成

简介

这篇文章是2017年发表在IEEE的，提出了一种基于优化的对抗样本生成方法

作者是Nicholas Carlini以及David Wagner，推测这C&W是由他们的姓氏首字母而来

文章针对防御蒸馏，提出了基于三种距离的攻击方法，说明防御蒸馏并不那么的优越

这篇文章非常经典，所用的方法在后续许多对抗论文中都有采用

一、攻击方法

文章中使用了多种对比方法，简要介绍一下

1.1L-BFGS

该方法使用盒约束，基于 $l_2$ 范数，是一种目标攻击

目标攻击解决以下问题：

$\begin{array}{ll}\mathrm{minimize}&\|x-x^{\prime}\|_2^2\\\mathrm{such~that}&C(x^{\prime})=l\\&x^{\prime}\in[0,1]^n\end{array}$

本方法通过以下方式解决：

$\begin{array}{ll}\text{minimize}&c\cdot\|x-x'\|_2^2+\text{loss}_{F,l}(x')\\\text{such that}&x'\in[0,1]^n\end{array}$

这里的损失可以取交叉熵；该方法期望同时优化距离以及损失，也就是在最小扰动以及最小损失的基础上达成目标攻击；

显然这种攻击在没有约束的条件下是必然成功的，盒约束的意义在于使得图像样本合法，也就是所有的像素值都在 $[0,1]$ 之间

c值的选取又是一个很常见的问题了，是衡量二者的重要程度，从而使得其中一者被优先更大程度的优化

1.2Fast Gradient Sign Method（FGSM）

这个就是非常常见的一种攻击方式了

$x'=x-\epsilon\cdot\operatorname{sign}(\nabla\text{loss}_{F,t}(x))$

一种基于梯度的攻击方式，其含义为：使得样本往损失增大的方向变换（损失大往往就被误分类

多说两句， $\epsilon$ 为步长，图像数据中常取 $8/255$ ，理论上步长取得足够大基本能攻击成功（然而并非必然），但也就背离了扰动‘微小’的前提了

而取符号函数似乎与理论上不太重合，但实验证明加了符号函数往往有更好的攻击效果

对于快速梯度方法（FGSM）可以采取小步长多次迭代的方法，也就是IFGSM，和PGD有异曲同工之妙

1.3JSMA

该方法是一种目标攻击，通过同时修改两个像素点达成

这里的评判标准为一对像素对分类目标的敏感度，敏感度定义为某一类概率对某一像素点的梯度

其意义在于，该梯度越大，像素点的变动对分类器的分类概率值的影响越大，分类器也就对该像素点越敏感

对于目标 $t$ 而言，通过计算分类器 $Z(\cdot)$ 对像素点 $p,q$ 的灵敏度，从而使得对于目标 $t$ 敏感点更敏感，而对于非目标 $j\neq t$ 的敏感点变得更不敏感

$\begin{aligned} &\alpha_{pq} =\sum_{i\in\{p,q\}}\frac{\partial Z(x)_t}{\partial x_i} \\ &\beta_{pq} =\left(\sum_{i\in\{p,q\}}\sum_j\frac{\partial Z(x)_j}{\partial x_i}\right)-\alpha_{pq} \end{aligned}$

优化目标为 $(p^*,q^*)=\arg\max_{(p,q)}(-\alpha_{pq}\cdot\beta_{pq})\cdot(\alpha_{pq}>0)\cdot(\beta_{pq}<0)$

1.4Deepfool

该方法基于 $l_2$ 距离，比L-BFGS更有效

作者并没有详细的描述这种方法，在这也不多说

二、C&W

该方法的创新在于提出了目标函数（objective function） $f(\cdot)$ ，致力于解决以下问题

$\begin{aligned}&\text{minimize}&\mathcal{D}(x,x+\delta)+c\cdot f(x+\delta)\\&\text{such that}&x+\delta\in[0,1]^n\end{aligned}$

其中 $D$ 描述扰动大小，目标函数 $f$ 描述攻击的成功程度

2.1盒约束

该方法同样是用于攻击图片，但不同以往的是，对于盒约束用了一种新的表达式

从 $x^{\prime}\in[0,1]^n$ 变为了 $x'=\frac12(\tanh(w_i)+1)$ ；

$tanh(\cdot )$ 函数可以将 $x$ 映射到 $[0,1]$ 之间，等价于 $x^{\prime}\in[0,1]^n$

不同于以往的暴力裁剪方法，该方法可以保留全部的攻击信息

此时扰动变为了 $\delta_i=\frac12(\tanh(w_i)+1)-x_i$

2.2目标函数

文章基于攻击目标 $t$ 提出了7种目标函数，目标函数描述对抗样本 $x'$ 被分类成目标 $t$ 的程度

重点关注 $f_6$ ，作者的实验都是基于 $f_6$ 做的，其他的可以理解不太重要

目标函数可以理解以0为边界，当 $f(x')\leq 0$ 时，攻击成功

$\begin{aligned} &f_{1}(x^{\prime}) =-\mathrm{loss}_{F,t}(x^{\prime})+1 \\ &f_2(x^{\prime}) =(\max_{i\neq t}(F(x')_i)-F(x')_t)^+ \\ &f_3(x^{\prime}) =\text{softplus}(\max_{i\neq t}(F(x')_i)-F(x')_t)-\log(2) \\ &f_4(x^{\prime}) =(0.5-F(x^{\prime})_t)^+ \\ &f_5(x^{\prime}) =-\log(2F(x')_t-2) \\ &f_6(x^{\prime}) =(\max_{i\neq t}(Z(x')_i)-Z(x')_t)^+ \\ &f_{7}(x^{\prime}) =\text{softplus}(\max_{i\neq t}(Z(x')_i)-Z(x')_t)-\log(2) \end{aligned}$

2.3c的选择

$c$ 的大小影响扰动大小以及攻击的成功程度的权重

更大的 $c$ 会使得攻击成功程度被给予更高的关注，从而被优先优化

$\begin{aligned}&\text{minimize}&\mathcal{D}(x,x+\delta)+c\cdot f(x+\delta)\\&\text{such that}&x+\delta\in[0,1]^n\end{aligned}$

作者绘制了超参数 $c$ 的曲线

得出：当 $c <1$ 时，攻击很少成功；当 $c > 1$ 时，攻击变得不那么有效，但总是成功。

于是在后续实验中选定 $c=1$

三、攻击评估

本文提出了基于三种距离的攻击，分别是0范数，2范数和 $\infty$ 范数，笔者这里只讲2范数，因为只有二范数是可微的

3.1二范数Attack

这里的目标函数选取 $f_6$ ， $k$ 为超参数，这里取0

$\begin{aligned}\text{minimize }&\|\frac12(\tanh(w)+1)-x\|_2^2+c\cdot f(\frac12(\tanh(w)+1)\\\text{with }&f\text{ defined as}\\&f(x^{\prime})=\max(\max\{Z(x^{\prime})_i:i\neq t\}-Z(x^{\prime})_t,-\kappa).\end{aligned}$

解决上式正常是采取梯度下降法，本文提出采用多起点梯度下降（Multiple starting-point gradient descent）；传统梯度下降使用贪婪搜索，容易陷入局部最小值。这里从扰动最小的对抗样本到原始样本的距离 $r$ 为半径的均匀分布取样，相当于在已经是对抗样本的基础上再优化，从而避免陷入局部最小值。