使用雨滴进行对抗攻击
论文地址：https://arxiv.org/pdf/2302.14267.pdf
目录
3.1. Real-World Adversarial Raindrops
3.2. Adversarial Raindrops in Digital Domain
3.2.4 Adversarial Raindrop Attack
附：Attentive generative adversarial network for rain-drop removal from a single image
Abstract
众所周知，深度神经网络(DNN)容易受到对抗样本的攻击，这些对抗样本通常是人为设计来欺骗DNN的，但在现实世界中很少存在。在本文中，我们研究了由雨滴引起的对抗样本，以证明存在大量的自然现象能够作为DNN的对抗性攻击者。此外，我们提出了一种新的方法来生成对抗雨滴，表示为AdvRD，使用生成对抗网络(GAN)技术来模拟自然雨滴。我们的AdvRD制作的图像看起来与现实世界的雨滴图像非常相似，在统计上接近真实雨滴图像的分布，更重要的是，它可以对最先进的DNN模型进行强烈的对抗攻击。另一方面，我们证明了使用AdvRD图像的对抗性训练可以显著提高DNN对现实世界雨滴攻击的鲁棒性。大量的实验表明，AdvRD制作的图像在视觉上和统计上接近自然雨滴图像，可以作为DNN模型的强攻击者，也有助于提高DNN对雨滴攻击的鲁棒性。
1.Introduction
现有的对抗性攻击可分为两类:
- 数字攻击，其中对抗扰动是在数字领域制作的，例如传统的基于梯度的对抗攻击。
- 物理攻击，在真实存在的物体上制造扰动，如路标，t恤等，以实现攻击目标。
由于数字制作的对抗样本在现实环境中很少存在，因此物理攻击最近引起了越来越多的关注。物理攻击采用的一种流行策略是在目标对象上添加一些精心设计的人工制品，例如在停止标志[33]上粘贴贴纸或在眼镜框[32]上粘贴彩色图案。然而，这些攻击通常会产生不自然的纹理，这对人眼来说是很明显的。因此，许多方法专注于生成具有自然风格的对抗样本，，例如由多边形引起的对抗性阴影[44]。然而，这些视觉上有效的对抗样本仍然是人工制品，很少出现在现实环境中。
近年来，一些研究人员[10,42]提出利用降雨和雾霾等自然现象来产生更多的自然对抗攻击。但它们并不是真正的雨或雾霾，而且往往看起来不自然，要么是因为用于模拟天气现象的模型并不复杂，要么是因为过于关注对抗样本的攻击强度，而忽略了它们的真实性。
在本文中，我们研究了由雨滴引起的对抗样本，以表明存在许多自然现象，如雨滴，能够作为DNN的对抗攻击者。为此，我们提出了一种基于GAN技术生成对抗雨滴图像的方案，称为AdvAD。具体来说，AdvAD在真实雨滴数据集上训练生成式对抗网络(Generative Adversarial Network, GAN)，直到它能够将干净的输入图像转换为自然雨滴风格的图像，同时，在GAN框架中嵌入了迁移学习分类器，赋予生成的雨滴图像更多的对抗攻击能力。该方案生成的对抗雨滴图像与自然雨滴图像非常相似，不仅从人类的角度来看是如此，而且从两种分布的统计度量来看也是如此。最后，我们证明了对抗雨滴图像有助于提高DNN模型对自然对抗雨滴攻击的鲁棒性。大量的实验证明了该方案的有效性。
我们的工作主要贡献如下:
- 我们提出了一种基于GAN技术的新方法，以生成视觉上和统计上与自然雨滴图像相似的对抗雨滴图像。
- 我们展示了现实世界的雨滴可以作为对抗样本来误导DNN，这可能会给自动驾驶等安全关键应用带来实质性威胁。使用AdvRD样本的对抗训练可以帮助提高DNN对现实世界雨滴扰动的鲁棒性。
2. Related Work
2.1. Digital Attacks
数字域的对抗性攻击是对输入图像的每个像素进行扰动，以误导深度神经网络的预测。根据目标DNN模型对攻击者的透明度，数字攻击可分为白盒攻击和黑盒攻击....
2.2. Physical Attacks
Kurakin等人首先证明了在现实环境中也存在对抗样本。他们发现，数字对抗性样本的硬拷贝仍然可以欺骗目标模型。一种流行的物理攻击策略是“粘贴”，它将敌对补丁附加到对象上，以误导DNN模型。例如，Eykholt等人在路标上放了对抗性的补丁，以欺骗训练有素的汽车。Xu等[41]在t恤上打印对抗贴片，帮助人逃离检测模型。Sharif等人将对抗性纹理应用于眼镜框架上欺骗面部识别系统。
另一种工作尝试以非侵入性的方式攻击目标模型。将半透明贴纸[22,48]应用于相机镜头是一种简单而有效的欺骗识别和检测系统的策略。有些方法利用光学设备生成对抗性示例。Gnanasambandam等人使用投影仪对目标进行对抗性扰动来实现攻击。塞尔斯等人用调制光信号照亮物体，以制作人类看不见的对抗性样本。Duan等[8]向目标物体发射激光束，实现快速攻击。
最近，一些作品试图在自然现象中掩盖物理世界的敌对例子。Zhai等人[42]将干净的图像变换成雨的样式进行攻击。Gao等b[10]伪装扰动进入雾霾，误导分类器。Zhong等人利用视觉上的扰动(如阴影)来制作对抗样本。这些作品基于理论模型生成视觉上自然的图像。然而，合成样品与现实世界中的样品并不真正兼容。
3. Methodology
3.1. Real-World Adversarial Raindrops
我们遵循 Attentive generative adversarial network for rain-drop removal from a single image. [27]策略获取雨滴图像，并统计估计雨滴图像误导训练良好的DNN分类器的可能性。
我们随机地在玻璃杯上喷上一些小水滴，然后把它放在相机镜头前。干净的图像一个接一个地显示在电脑屏幕上。我们固定摄像机和屏幕的位置，随机移动和旋转玻璃，为每张图像采集5秒的视频。如果我们发现视频中至少有一帧误导了预训练的DNN模型，我们就称这一帧为DNN模型的真实世界对抗雨滴图像。图2说明了获得真实世界的对抗雨滴的过程。我们发现，对于给定的DNN模型，有很好的机会获得真实世界的对抗性雨滴图像。显然，这也取决于水滴的大小和密度。
图2。(a)用于拍摄图像的相机;(b)用来制造雨滴的玻璃;(c)随机洒在镜头前玻璃上的雨滴;(d)最终雨滴图像。
3.2. Adversarial Raindrops in Digital Domain
对抗训练被认为是提高DNN模型对抗攻击鲁棒性的最有效方法。它也适用于对抗雨滴。然而，对抗训练需要使用大量的对抗雨滴图像来训练分类器，而这些图像在实践中很难收集到。因此，我们提出了一种新颖的方法，AdvRD，使用 quasi-GAN 框架来模拟数字域的自然雨滴。生成的雨滴在攻击DNN模型中显示出相当强的强度，并且从人类视觉和统计分析的角度来看与自然雨滴相似。
图1显示了所提出的雨滴生成网络的训练阶段。我们基于 quasi-GAN 框架生成对抗雨滴图像，该框架包含三个子网络，生成器，判别器和传输分类器。与传统GAN不同的是，我们的GAN架构中的生成器G试图生成尽可能真实的雨滴图像，目的不仅是欺骗鉴别器，还欺骗传输分类器。判别器D试图识别输入图像是真实的雨滴图像还是来自生成器。利用转移分类器C赋予生成的雨滴图像具有对抗攻击的能力。
生成对抗损失可以表示为:
o为从真实雨滴图像中抽取的样本，b为干净自然图像。z是高斯噪声向量，x是c正确分类的干净图像。η是平衡生成雨滴的真实感和攻击能力的因素。
3.2.1 Generative Network
生成器的第一个目标是生成类似真实雨滴的图像来欺骗鉴别器。为了模拟自然雨滴，生成器应该在雨滴生成过程中考虑背景场景。如图1所示，我们使用多个卷积层提取干净图像的浅层特征，并将其与从噪声向量z计算的中间特征融合，得到最终的雨滴。这个过程可以表示为:
其中o’表示合成雨滴图像，E表示编码器。它将雨滴图像转换为特征，即潜在变量z的均值和方差。
我们使用有雨滴和没有雨滴的图像对来训练生成网络。生成器第一个目标的生成损失LG表示为:
其中Eq.(4)的第一项Lgen旨在训练生成器输出能够欺骗鉴别器的雨滴图像。该损失的计算公式为:
Eq.(4)的第二项Lz约束E编码的潜变量z服从各向同性高斯分布，计算式为:
式中，µ和σ为潜在变量z的均值和方差，d为z的维数。
采用式(4)中的最后一个损失Lp，使生成的雨滴更加真实。受雨滴只影响图像的部分像素的观察启发，我们选择L1范数来鼓励生成器产生稀疏扰动:
在实践中，我们发现Lp有助于提高合成雨滴图像的质量，加快GAN的收敛速度。
3.2.2 Discriminative Network
判别器D试图识别输入图像是真实的雨滴图像还是来自生成器。因此判别器的损失定义为:
一些工作]要求判别器同时识别全局和局部图像，以提高GAN的性能，这需要复杂的损失函数设计和更多的计算资源。为了平衡GAN的性能和效率，我们只使用了一个结构主要基于AlexNet[18]的全局鉴别器，因为我们实验发现这个样本网络可以满足我们的需求。
3.2.3 Transfer Classifier
生成器的第二个目标是使生成的雨滴图像具有更强的对抗攻击能力，因为根据我们的观察，只有从之前的生成器G制作的少量雨滴图像可以成功地误导目标DNN模型。因此，在我们的GAN架构中，在传统的GAN框架中添加了一个迁移学习网络C，称为迁移分类器，旨在将生成的雨滴图像转换为对抗样本。下面是我们在训练中使用的损失函数:
其中x是C正确分类的干净图像，η是一个正常数，用于限制分类损失LC的范围，这样我们就可以在攻击能力和生成雨滴的真实性之间做出很好的权衡。
η对冲击能力和真实性的影响如图3所示。
图3。(a)生成器和输入。(b)经过不同损失训练的生成器所学到的分布。(c)从不同分布取样的雨滴图像。当η值较大时，雨滴图像更容易骗过目标分类器，但会偏离真实雨滴分布
综上所述，GAN训练过程中使用的生成损失LG表示为:
3.2.4 Adversarial Raindrop Attack
在对GAN架构进行训练后，我们对其参数进行固定，并通过解决以下优化问题生成对抗雨滴图像:
式中，Ltc为目标DNN分类器的损失函数，εz为z的阈值。在白盒场景下，Eq.(11)可采用梯度下降法求解。迭代公式为:
其中αz是迭代的步长。在黑盒情况下，损失随输入噪声的梯度是不可用的。因此，我们采用一种简单而有效的方法来估计最优z，即从高斯噪声分布中采样N个输入，并选择一个可以欺骗目标模型的输入。该策略类似于基于查询的黑盒攻击，避免了通过大量查询对目标模型进行艰难而复杂的梯度估计。在实验中，我们的方法可以在较小的查询计数N = 5的情况下实现相当高的黑盒ASR(攻击成功率，ResNet50为51.2%)。算法记为AdvRD，对于白盒场景，在算法1中进行了总结。本文提出的方法一般可以与任何基于梯度的攻击相结合，增强其攻击能力。
Experiments
在白盒场景中，目标DNN模型被选择为四个标准训练模型:Inc-v3、Inc-v4、Regs -v2和Res-101，以及两个鲁棒模型:Rob-ResNet50和IncRes -v2ens。对于黑盒攻击，选择了三个标准训练的网络，Inc-v4, IncRes -v2和Res-101，以及三个对抗训练的模型，ens3adv-Inception-v3 ， ens4-adv-Inception-v3 和ens-adv-Inception-ResNet-v2。
白盒攻击和黑盒攻击的实验结果分别见表2和表3。
我们发现:1)在白盒场景下，除了FGSM外，AdvRD雨滴的攻击能力在ASR方面弱于基于梯度的方法制作的对抗样例;2)在黑盒场景下，AdvRD在大多数情况下比其他基于梯度的方法的ASR要好得多。即使对于三个通过对抗训练预训练的鲁棒目标模型，本文的AdvRD雨滴仍然达到50%以上的ASR，显著高于基于梯度的方法。这可能意味着传统的基于梯度的对抗训练并不适用于对抗雨滴。
附：Attentive generative adversarial network for rain-drop removal from a single image
生成对抗网络的损失函数可以用下面的公式表示：
G代表生成网络，D代表判别网络。I是我们的被雨滴污染的图像库中的一张样本图像，它作为生成网络的输入。R是对应的干净的自然图像库中的一个样本。
976
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
