【论文阅读】ICCV 2023 || Set-level Guidance Attack: Boosting Adversarial Transferability of VLP Modles

针对VLP模型的集合级引导攻击

• 论文地址：https://arxiv.org/abs/2307.14061
• 代码地址：GitHub - Zoky-2020/SGA: Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models. [ICCV 2023]

目录

​编辑

针对VLP模型的集合级引导攻击

Abstract

Motivation

Set-level Guidance Attack, SGA

Alignment-preserving Augmentation

Cross-modal Guidance

Experiments

 ​编辑

---

Abstract

视觉-语言预训练（VLP）模型在诸多任务上都取得了 SOTA 的性能。尽管如此，近期的工作[1][2]表明在白盒场景下VLP模型面对恶意攻击时仍然表现出脆弱性。然而，在贴近现实的黑盒场景下，VLP模型的鲁棒性仍有待进一步挖掘，这对于VLP模型在现实场景中的安全部署具有重要意义。本文从对抗迁移性的角度出发，首次探索 VLP 模型在黑盒场景下的对抗鲁棒性。作者首先评估了现有方法在基于 VLP 模型的多模态场景下的对抗迁移性，实验结果表明，现有的单模态攻击和多模态白盒攻击方法，都不足以生成具有强迁移性的对抗样本。作者将这种迁移性差的问题归结为现有方法在多模态任务下的局限性：缺少模态间交互和样本多样性不足。为进一步提升多模态对抗样本的跨模型迁移能力，作者提出了一种集合级引导攻击（Set-level Guidance Attack, SGA）方法。该方法将单一地图像-文本对扩展为集合级别的图像-文本对，并以跨模态数据为监督信息，从而生成具有强迁移性的对抗样本。实验结果表明，SGA 能大显著提升对抗样本的跨模型迁移能力。

Motivation

作者首先在图文检索任务上做了俩实验来引出本文的motivation ；一共对两类VLP模型进行了实验：融合VLP模型（ALBEF、TCL）、对齐VLP模型（CLIP）。融合VLP模型由一个图像编码器、一个文本编码器和一个多模态编码器组成。 对齐的VLP模型没有多模态编码器，也没有统一的多模态嵌入。在多模态模型中，输入图像xi由图像编码器编码到图像嵌入ei中，输入文本 xt 由文本编码器编码到文本嵌入 et 中。图像嵌入 ei和文本嵌入et 然后被送入多模式编码器以输出统一的多模式嵌入em。这种具有多模式编码器和统一多模式嵌入的 VLP 模型就是融合 VLP 模型。 相比之下，CLIP 专注于学习单模态图像编码器和文本编码器，而不考虑多模态编码器。这种只有单独的单模态嵌入的 VLP 模型就是对齐的 VLP 模型。

实验1展示了不同模态产生的对抗样本在攻击不同VLP模型时的迁移性,从结果可以看出同时攻击两种模态(图像和文本)的对抗迁移性更好。

实验2分别用Sep attack（左）和Co attack（右）两种方法生成对抗样本，然后展示了在白盒模型和黑盒模型上的攻击成功率(%)； Sep attack是单模态攻击（单独攻击图像和文本），Co attack是多模态攻击（考虑模态之间的交互，但使用单一图像-文本对）。从结果看，①单模态攻击效果不如多模态攻击②这些原来在白盒场景下攻击能力还不错的对抗样本，在迁移到黑盒时效果变差了很多。

基于这俩实验，就引出了本文的两个motivation

• 不同于单模态任务，VLP 模型依赖多模态数据间的交互，只攻击单一模态的图像或文本是不够的。在第二个实验中，sep-Attack 只是分别的去攻击图像和文本，并没有利用到多模态间的交互信息，所以效果不如多模态攻击的好。本文的解决方案就是用多模态引导攻击（Cross-modal Guidance）来破坏模态间的交互。
• 多模态任务中，通常存在一对多、多对多的跨模态数据对齐，在攻击时虽然生成的对抗图像可能与源模型中的单个监督文本相距甚远，但它很容易接近目标模型中的其他匹配文本。所以Co-Attack 这种使用单一的图像文本对生成对抗样本是不够的，它忽视了多对多的跨模态交互，所以迁移性不好。对此本文提出了使用集合级的图像文本对（Alignment-preserving Augmentation），从一对一变为多对多。

Set-level Guidance Attack, SGA

Alignment-preserving Augmentation

集合级数据增强它就是对于数据集中干净的图像文本对，在保持语义对齐的前提下，将其扩展为一组图像和文本。

• 对于图像，主要是利用尺度不变性这一点来进行图像增强的，首先将其缩放到不同的尺度 ，随后添加高斯噪声以引入随机性，得到的图像集合。
• 对于文本集合，就直接从数据集中选取与图像最匹配的M个文本描述。这样U(v,t) 中任意一组图像文本对都保持了语义对齐。

Cross-modal Guidance

跨模态引导攻击：使用来自另一模态的配对信息作为监督来指导对抗样本的优化方向。迭代的去优化对抗图像和对抗文本。 fT表示为文本编码器，fI表示为图像编码器

• 首先对集合文本做攻击，对集合中的每一个文本ti，最小化文本和图像之间的余弦相似度，这个过程约束每一个对抗文本在特征空间中远离原始图像v，最终得到对抗文本集

  

• 生成对抗图像，g是调整尺度函数，S是尺度系数，通过它对图像进行不同尺度的数据增强，来得到图像集，然后约束所有图像远离文本集中所有对抗文本。

• 基于对抗图像生成对抗文本，最小化余弦相似度，使对抗文本在特征空间中远离对抗图像 v'

Experiments

 

 显示了与一些提升迁移性的攻击方法相结合的攻击成功率。 在源模型ALBEF上生成对抗样本，攻击其他目标模型（TR: image-to-text）。 可以看出单模态攻击（sep）与基于迁移的攻击相结合不仅降低了白盒攻击的有效性，而且也降低了对抗迁移性。原本的多模态攻击Co与基于迁移的攻击相结合，效果提升也很小 表明在多模态学习中直接结合单模态对抗攻击而不考虑跨模态交互和对齐这样是有问题的 而本文的方法在白盒攻击上攻击成功率是非常高的，并且迁移能力相比之前的方法有很大提升。

 对比了不同攻击方法 生成的对抗样本在这四个 VLP 模型上的迁移能力。实验结果表明，相较于现有的对抗攻击方法，SGA 能够大幅度提升对抗样本在 VLP 模型之间的迁移性。

 对本文中的集合级数据增强中图像集和文本集的大小进行了消融实验。左边的变量是图像集大小，右边是文本描述集大小。

逐步增加集合中图像尺度的多样性（增大图像集），能够提升最终生成的对抗样本的攻击成功率。当尺度范围设置为[0.50,1.50]，步长为0.25时，攻击成功率达到峰值。

相较于单张图像表述，使用集合级的图像文本描述来生成对抗样本能提升攻击成功率。