Paper笔记： 《Adversarial Color Enhancement》

论文: https://arxiv.org/pdf/2002.01008.pdf
链接: https://github.com/ZhengyuZhao/ACE

选自BMVC2020的一篇paper，全名为《dversarial Color Enhancement: Generating Unrestricted Adversarial Images by Optimizing a Color Filter》

Motiation

  又是一篇着眼于颜色变换的无限制攻击paper，由于传统的$L_p$往往只能在实验室场景下生效，在实际环境中，添加的微小噪声很容易受到环境光的影响，而无法发挥作用。因此，无限制攻击（不再拘泥于$L_p$约束，但依旧使肉眼难以察觉）在实际应用的场景中具有更重要的意义。

Contribution

  本文作者提出了一种名为ACE(Adversarial Color Enhancement)的无限制攻击方法，该方法通过梯度下降优化一个颜色滤波器，来生成攻击样本，作者将本文的核心贡献归纳为以下三点：
（1）探索了常见的颜色滤波器在对抗攻击领域的潜力，并通过优化颜色滤波器的方式生成攻击样本。
（2）实验结果表明，该方法在攻击效果和可察觉性方面达到了一个很好的trade-off，同时，该方法具备不错的黑盒迁移性。
（3）探索了两种新的方式来提高ACE的图像生成效果：利用常见的图像增强算子来指导样本生成；利用区域的语义信息。

Method

  如下式及图1所示，作者以分段函数的形式定义了一个颜色滤波器，通过图像后处理的方式来完成攻击样本的生成。在该式中，需要优化的参数是${\theta }_i$，通过梯度下降的方式优化滤波器，使得图像被滤波器处理过后成为攻击样本。
$$\begin{gathered} F_{\theta }(x_k)=\sum _{i=1}^{k-1}{\theta }_i+(K\cdot x_k-(k-1))\cdot {\theta }_k \\ s.t.0\le {\theta }_i\le 1and\sum _i{\theta }_i=1 \end{gathered}$$

图1 滤波器分段函数示例图

  注意看上述公式，当所有的参数${\theta }_i$恒等于$\frac{1}{K}$时，有$F_{\theta }(x)=x$，即图像不变。因此，为了保证生成的攻击样本与原图尽可能相似，作者针对参数进行约束，使得其尽可能接近$\frac{1}{K}$。下式表示攻击样本生成的目标函数，其中，$f()$代表C&W损失函数，$\lambda$用来调整正则化项的权重。
$$\underset{\theta }{\mathrm{minimize}}f(F_{\theta }(x))+\lambda \cdot \sum _i({\theta }_i-1/K{)}^2$$

Experiments and Analysis

  作者在图像分类和场景识别两个任务上评测ACE的效果，用到的两个数据集分别是ImageNet-Compatible dataset和Private Scene dataset。如图2所示，该方法有极高的白盒攻击成功率，同时在黑盒场景下也具备一定的迁移性。同时作者发现一个规律：从更复杂的模型上生成的攻击样本，去攻击简单模型的时候迁移成功率更高。

图2 攻击成功率及迁移性结果图

攻击效果及图像质量比较

  作者将ACE与现有的SOTA方法进行了对比，如图3所示，ACE虽然在白盒成功率上不如BIM和CW方法，但由于这两种方法完全利用了梯度信息，在一定程度上对攻击模型产生了过拟合，因此这两种方法的迁移率很差。同时，ACE的攻击成功率和迁移率在无限制攻击方法中都是最优的。

图3 与SOTA方法对比结果图

  同时，作者还通过可视化的方式对比了几种无限制攻击方式生成图像的效果，如图4所示，ACE生成的图像看起来是最真实的。

图4 图像生成效果对比图

消融实验

  如图5所示，作者首先探索了超参数$\lambda$和$K$的影响，在固定$\lambda$的情况下，增大$K$可以增大成功率，因为参数有了更多可以变化的空间。而缩小参数$K$也因为同样的原因，可以导致攻击成功率的提升。但是，完全不施加正则化约束($\lambda =0$)会导致生成的图像失真（如图5最右边）。

图5 超参数影响示意图

  作者还对比了基于梯度优化的方法与随机搜索方法的效果，如图6所示，基于梯度优化的方法始终由于随机搜索方法。此外，随着参数$K$的增大，基于梯度的方法效果提升，而随机搜索方法效果却不断下降。对此作者的解释是：随着参数空间的不断扩大，通过随机的方式找到合适的攻击样本的概率不断降低。

图6 基于梯度优化与随机搜索对比结果图

Extension

  这部分里，作者探讨了两种新的方式，来生成更真实的攻击样本。首先是利用图像增强算子来指导攻击样本的生成，作者认为此前的正则化项虽然可以保证生成视觉上可以接受的攻击样本，但是优化的方向不是生成更高质量的图片。因此作者修改了正则化项，首先利用直方图滤波算子生成理想的图片，然后如下式所示，通过优化攻击图片与理想图片的距离来提高图像的质量。
$$\underset{\theta }{\mathrm{minimize}}f(F_{\theta }(x))+\lambda \cdot ||F_{\theta }(x)-x_t|{|}_2^2$$
  作者探讨的另一种生成方式，是基于具体的语义信息。在之前的框架下，相同像素值的像素在变化后的像素值依旧保持一致。但作者相信，基于语义信息来添加扰动更有利于保证图像的质量。如下式所示，针对不同的语义区域，作者采用不同的滤波器，分别用$F_{{\theta }_n}$表示，$M_n$则表示不同语义区域的binary mask，而$w_n$表示不通滤波器的权值。
$$\underset{\theta }{\min }\sum _n[J(F_{{\theta }_n}(x\cdot M_n))+\lambda \sum _i{w}_n\cdot ({\theta }_{n_i}-1/K{)}^2],s.t.\sum _n{w}_n=1$$