Robust Superpixel-Guided Attentional Adversarial Attack论文分享（侵删）

原文地址：Robust Superpixel-Guided Attentional Adversarial Attack | IEEE Conference Publication | IEEE Xplore

author={Xiaoyi Dong and Jiangfan Han and Dongdong Chen and Jiayang Liu and Huanyu Bian and Zehua Ma and Hongsheng Li and Xiaogang Wang and Weiming Zhang and Nenghai Yu},
title={Robust Superpixel-Guided Attentional Adversarial Attack},

一、介绍

提出了第一种鲁棒的超像素引导的注意力对抗攻击方法。具体来说，给定一幅输入图像，我们首先对传统的超像素生成方法进行改进，得到过分割的超像素图，其中每个超像素中的像素具有相似的颜色，并遵循局部平滑特性。然后我们以超像素的方式生成对抗扰动，即，每个超像素内的扰动必须是相同的。为了进一步保证局部平滑，我们通过自适应合并相似的超像素来改进原始超像素方法。对于“全局“问题，我们通过使用来自类别激活图的辅助信息来替换它。换句话说，我们约束每个超像素的局部平滑扰动仅被添加到前景对象上。

在局部光滑和注意力约束下，虽然我们的方法的对抗扰动空间比以前的“逐像素和全局“方法小得多，但仍然可以保持专门设计的攻击能力。我们也证明了所提出的Superpixel-Guided Attentional Adversarial Attack对基于图像处理的防御和基于隐写分析的检测方法具有更强的鲁棒性。

pixel-wise：对抗扰动独立地添加到每个像素上，因此在大多数情况下非常嘈杂。

global-wise：大多数现有的方法同等地处理一个图像中的所有像素，并对所有像素添加扰动。

超像素分割：将一幅图像中纹理，色泽相近的部分划分为一个个小的子区域以实现聚类、分割的目的。

传统基于pixel-wise和global-wise的对抗样本产生方法（如I-FGM）会造成图像像素之间的不平滑，容易被基于图像处理和基于隐写分析的防御方法识破。

二、方法

（1）Motivation

1.自然图像的局部光滑性与对抗扰动的噪声特性之间的矛盾。自然图像中的像素通常具有局部光滑特性，这意味着相邻像素通常具有相似的像素值。因此，添加像素级扰动会破坏原始的局部统计。

2.它更有效地增加了分类器关注的对象的对抗性扰动。实验证明对前景目标的附加扰动更有效，在全局距离测量下可以获得更好的攻击性能。事实上，这种现象也与分类器聚焦的注意力图相一致。

（2）Superpixel-Guided Attentional Adv Attack
我们提出了第一种超像素引导的注意对抗攻击方法.我们使用超分割的超像素作为引导，约束每个超像素内的扰动，而不是添加像素级的对抗性超像素。这样，产生的扰动在超像素级也是局部光滑的。我们使用的另一个向导是前景注意映射，它只将扰动添加到前景对象中。由三个步骤组成：

1)生成超像素引导噪声模板t并初始化与超像素数相等的对抗性噪声n。

2)基于注意图的作物与对抗扰动。

3)使用生成的对抗性样本进行迭代更新。

超像素点分割

模板生成：利用超像素算法得到分割图作为修改模板。它可以保证图像的局部平滑性，减少原始图像与对抗性样本的统计差异。具体来说，颜色距离和空间距离都被认为是距离的度量：

其中dis是Ith像素与Kth超像素簇之间的距离。N，K表示为总像素数和预定义的超像素数，然后表示每个超像素簇Ck表示为元组(lk，Ak，Bk，Xk，Yk)，其中Lk，Ak，Bk是CIELAB颜色空间中ck的像素值，Xk，Yk是空间坐标，s=√N/K是网格间隔，p是控制超像素紧凑性的参数。SILC通过在规则网格上采样像素S作为初始化步骤，利用线性迭代聚类算法对每个像素进行聚类更新，使其接近于超像素中心。

SLIC的一个缺点是聚类数K是固定的，这意味着一个大的平滑区域将被聚类成许多不同的小超像素。如果我们使用它作为对抗性噪声的模板，那么每个小的超像素都会被添加不同的扰动。为了克服这一缺点，我们提出了一种将相邻的超像素与相似像素值相结合的自适应组合策略。如果相邻的超像素之间的色差小于3，我们将它们组合成一个新的超像素。

Atttion热图分割

Attention Mask：我们使用类激活映射(CAM)方法生成输入图像的注意映射。特定类别的类激活映射指示CNN用于识别该类别的鉴别图像区域。CAM计算这个map，简单地将输出层投影到卷积特征map上。然而，CAM[43]生成的注意图中的所有像素值都在0~1之间，因此不能直接用于引导噪声剪切。我们使用二值化因子将注意力图转换为二值化图。二值化可以表示为

其中m是注意图，m*是二次化的注意映射，mij和m*ij，是它们在位置i，j处的值，以二值化的注意映射m*为掩蔽，用对抗性噪声来实现注意攻击。

生成对抗扰动

SAI-FGM。在基于优化方法ODS的启发下，我们提出了一种产生敌我噪声的替代方法.我们初始化了长度等于超像素数的噪声向量n，并直接计算了与n相关的梯度。每次迭代时，首先使用一个映射函数f将n填充到超像素级噪声模板t中，得到填充噪声f(n；t)。然后，f(n；t)被裁剪并缩放到阈值c，然后添加到原始样本x。在每一次迭代步骤i+1中，n将从ni更新到ni+1。在形式上，我们的SAI-FGM可以表示为

其中L(xidv，g， Θ)是损失函数，vnL(xidv，g， Θ)是L(xidv，g， Θ)相对于n的梯度，Crop和Scale分别表示基于注意映射m和基于扰动尺度因子c的尺度运算。

M-SAI-FGM方法是一种普遍存在的基于梯度的方法.因此，我们可以扩展我们的方法与其他攻击方法，以获得更强大的攻击能力。例如，在将我们的方法与MI-FGSM[5]结合时，通过积分动量项，我们得到了Moentum超像素引导注意版本I-FGM称为M-SAI-FGM。与SAI-FGM相比，我们更新了ni替换为：

三、总结

本文分析了现有的“像素化和全局”对抗性攻击方法的局限性，指出了它们对基于图像处理的防御和隐写检测方法不具有鲁棒性的原因。为了解决这些局限性，我们提出了第一种超像素引导的注意对抗性攻击方法，该方法只在每个超像素内的前地面区域和像素内都有同样的扰动，即使在这样一个高度约束的每扰动空间中，实验也证明了该方法仍然可以保持原始攻击能力，由于对抗性图像和源图像之间有更好的统计一致性，我们的方法对对抗检测和防御都表现出了更好的鲁棒性。