Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp Adversarial Attacks

最新推荐文章于 2024-06-08 21:37:09 发布

piggy_pig

最新推荐文章于 2024-06-08 21:37:09 发布

阅读量267

点赞数

分类专栏：对抗机器学习论文阅读

本文链接：https://blog.csdn.net/piggy_pig/article/details/115732694

版权

对抗机器学习论文阅读专栏收录该内容

1 篇文章 0 订阅

订阅专栏

论文阅读：Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp Adversarial Attacks

Abstract

对抗性训练是一种常用的防御策略，用于对抗有界 Lp的攻击威胁模型。然而，它经常降低模型在正常图像上的性能，更重要的是，防御不能很好地推广到新的攻击。鉴于深度生成模型(如 GANs 和 VAEs)在描述（近似）图像的底层流形方面的成功，我们研究是否可以通过利用底层流形信息来弥补上述对抗性训练的不足。为了部分地回答这个问题，我们考虑了当底层数据的流形信息可用时的场景。我们使用 Image Net 自然图像的子集，其中使用 StyleGAN 学习近似底层流形。我们还通过将 Image Net 样本投影到学习的流形上，构造了一个“On-Manifold Image Net”(OM-Image Net)数据集。对于这个数据集，底层的流形信息是精确的。利用 OM-ImageNet，我们首先证明了在图像的潜在空间中的对抗性训练(e.g,模拟对抗训练)提高了对流形攻击的标准精度和鲁棒性。然而，由于没有实现超流体扰动，防御可以通过 Lp 对抗攻击来打破。我们进一步提出了双流形对抗性训练(DMAT)，其中在潜在空间和图像空间中的对抗性扰动被用来增强模型。我们的 DMAT 提高了正常图像的性能，并达到了与标准对抗性训练相比的鲁棒性。此外，我们还观察到，DMAT 防御的模型对新的攻击具有更好的鲁棒性，这些攻击通过全局色移或各种类型的图像滤波来操纵图像。有趣的是，当被防御的模型在（变形的）自然图像上进行测试时，也会实现类似的改进。这些结果证明了使用流形信息（精确或近似）在增强深度学习模型对各种新型对抗性攻击的鲁棒性方面的潜在好处。（我们使用“流形”一词来指自然图像的低维表示的存在。)

Introduction

在所有这些防御中，对抗性训练(AT)[24]，用对抗性的例子来增强训练数据，也许是最标准的。大多数现有的 AT 方法考虑了小 LP 球内的对抗性失真，并证明了对同一类型失真的鲁棒性。然而，对 LP 失真的鲁棒性往往伴随着降低标准精度[25]的成本。此外，仅对 LP 攻击进行训练的模型被证明很难推广到未预见的攻击，并且容易受到数据流形[28,29]上不可察觉的颜色偏移[26]、图像滤波[27] 和对抗性示例的影响。在实践中，对看不见的攻击保持健壮是至关重要的，因为对手不会遵循特定的攻击威胁模型。
现有的防御考虑了训练分类器的属性，而忽略了底层图像分布的特定结构。最近在 GANs 和 VAEs[30,31,32]的进展被证明是成功的表征底层图像流形。这促使我们研究利用潜在的流形信息是否能提高模型的鲁棒性，特别是对看不见的和新的对抗性攻击的鲁棒性。我们的主要直觉是，在许多情况下，GAN 和 VAE 的潜在空间代表了图像的压缩语义级特征。因此，潜在空间中的鲁棒性可以指导分类模型使用鲁棒特征，而不是通过利用图像空间[33]中的非鲁棒特征来实现高精度。
在本文中，我们试图通过考虑底层数据的流形信息可用时的场景来回答这个问题。首先，我们构造了一个“On-Manifold Image Net”(OMImageNet)数据集，其中所有样本都正好位于一个低维流形上。这是通过首先在 Image Net 自然图像的子集上训练一个样式 GAN 来实现的，然后将样本投影到学习的流形上。借助此数据集，我们展示了流形对抗训练（即在潜在空间中进行对抗训练）无法抵御标准的非流形攻击，反之亦然。这促使我们提出双重流形对抗训练（DMAT），该模型将非流形AT和流形上AT混合在一起（见图1）。图像空间中的AT（即非流形AT）有助于提高模型抵抗Lp攻击的鲁棒性，而潜在空间中的AT（即歧管上AT）则增强模型针对看不见的非Lp攻击的鲁棒性。

Preliminaries

Setup

作者利用流形对抗示例微调了一个经过对抗训练的模型，并证明了在MNIST上改进的鲁棒性[39]。这些作品的结果仅限于仅存在有限纹理的人造图像。然而，事实表明，深度学习模型的脆弱性实际上是由于模型倾向于利用自然图像中的非鲁棒特征来实现高分类精度而造成的[33]。因此，是否可以使用流形信息来增强在自然图像上训练的深度学习模型的鲁棒性。

On-Manifold Image Net

在一般情况下，调查多种信息的潜在好处的一个主要困难是无法准确获取此类信息。对于近似流形，很难量化M和M之间的分布偏移的影响，从而导致结论性的评估。为了解决该问题，我们提出了一个新颖的数据集，称为On-Manifold ImageNet（OM-ImageNet），它由完全位于流形上的图像组成。
至此以图片形式呈现对整篇论文的理解。（之前的字懒得弄了，以后有机会再重新弄格式吧。如果嫌弃图片不清晰，可点击链接查看PPT[点击查看PPT]（只是分享，弱萌新，别骂我）(https://www.kdocs.cn/l/cam2OKwrsTip%20%5B%E9%87%91%E5%B1%B1%E6%96%87%E6%A1%A3%5D%20%E8%AE%BA%E6%96%87.pptx)）