Transferable Sparse Adversarial Attack

本文主要研究了基于0-范数的稀疏对抗攻击，这种攻击只需要修改图像中的几个像素点就可以成功，但先验稀疏攻击方法由于对目标模型过拟合，在黑盒协议下的可转移性比较低，本文引入一种生成器架构来缓解过拟合问题，以提高其可转移性。

这种框架，将原始图像输入生成器，通过一次前馈推理快速获得对抗图像，不需要梯度反向传播。该框架将对抗扰动解耦为两个分量，分别控制畸变大小和被扰动像素的位置。然后再位置图上应用稀疏正则化，以达到满意的稀疏性，映射的每个点都是一个二进制值，即0/1，这会导致离散优化问题。为了用端到端方式优化训练阶段的稀疏扰动，我们设计了一个特殊的0-1量化算子，同时保证训练阶段和测试阶段的一致性。

主要贡献

1)我们提出了一个基于0-范数的稀疏对抗攻击框架，以获得更好的可转移性。
2)我们进行了大量的实验来评估稀疏对抗攻击的可转移性。

方法

问题分析

本文中，的约束由0-范数和-范数度量：

在以往的稀疏攻击中，非常依赖f相对于当个图像x的梯度信息，会导致过拟合，为了缓解这种过拟合现象，本文引入了一种基于生成器的方法，生成器学习自然图像和稀疏对抗图像之间的映射，省身骑的参数是优化的数据分布，而不是单一的图像 增加训练数据量可以减少过拟合，从而提高可转移性。在这个假设下，问题转化为如何设计一个基于生成器的框架来解决问题1。

为了在基于生成器的框架中解决近似的1-范数约束问题，一个想法是直接添加一个'1-范数正则化δ。然而，δ上的1-范数正则化将使扰动的值在0附近收敛，从而导致一个密集的解。如果在这个解上应用二进制量化来获得一个真正的稀疏扰动，得到的样本可能由于信息丢失而不是对抗式的。

我们通过将扰动分解为两个变量的元积来解决这个问题，这两个变量包括一个控制扰动大小的矢量和一个控制扰动位置的二进制掩模

 然后我们联合优化m（扰动的位置的向量）和r（扰动的大小），对m只应用1-范数正则化而不应用δ。在m上1-范数正则化可以得到一个稀疏映射，同时不影响对成功攻击的扰动大小的优化。

r被-范数所限制，m每个元素都是一个二进制，m的二进制值引起了一个具有挑战性的离散优化问题，因为它不能直接使用任何基于梯度的连续求解器进行优化。
为了解决这一问题，我们设计了一个0-1随机量化算子，将连续向量转换为离散向量，并实现梯度反向传播。

框架

生成器G包括一个编码器和两个就解码器的分支，

编码器E以原始样本x为输入，生在z=E(x)，z进入两个解码器D1，D2

D1是类似于无穷范数生成器中的解码器，输出一个表示扰动大小的矢量，运用尺度运算来实现投影，将其限定在一个有效的范围内。

D2输出一个向量Q，为了得到控制扰动像素位置的离散向量m，要将Q转换成一个二值量化算子，但在训练中使用这种量化算子会导致梯度消失，所以在训练阶段设计了一个包含随机性的算子，来表示是否量化Q为随机变量x，if x=1，将其量化为1/0（x=1是阻止梯度反向传播，x=0只允许梯度流），x服从伯努利分布，，概率分布为：

 损失函数

  对抗损失:使用C&W中的损失函数作为对抗性损失;

稀疏损失

量化损失 

设计了一个特殊的量化算子，它在训练和测试中处于不同的状态。这可能会由于量化带来的信息丢失而带来一定的测试误差。为了减少训练和测试之间的差距，一个直接的解决方案是减少量化误差Q，量化参数应尽可能接近全精度参数，期望测试性能接近训练性能。
量化损失为: