Neurlps2024论文解析|Few-Shot Adversarial Prompt Learning on Vision-Language Models

论文标题

Few-Shot Adversarial Prompt Learning on Vision-Language Models 少样本对抗式提示学习在视觉语言模型上的应用

论文链接

Few-Shot Adversarial Prompt Learning on Vision-Language Models论文下载

论文作者

Yiwei Zhou, Xiaobo Xia, Zhiwei Lin, Bo Han, Tongliang Liu

内容简介

本文提出了一种少样本对抗式提示学习框架（FAP），旨在提高视觉语言模型（VLMs）在对抗性样本下的鲁棒性。现有方法在对抗性适应中存在适应成本高、文本监督效果不佳和自然泛化能力受限等问题。FAP框架通过使用有限的数据调整输入序列，显著提升了对抗鲁棒性。该框架通过从对抗样本中端到端学习对抗性文本监督，提供了更优的跨模态对抗对齐能力，并在仅使用1%训练数据的情况下，达到了最先进的零样本对抗鲁棒性。本文还提出了一种新颖的训练目标，增强了多模态特征的一致性，同时鼓励自然和对抗样本之间的单模态特征差异化。

分点关键点

1. FAP框架的提出

   • FAP框架通过少样本学习的方式，利用对抗性相关的文本监督来提升视觉语言模型的对抗鲁棒性。该框架的设计旨在减少对大量数据的依赖，并通过学习对抗性文本监督来实现更好的对齐。

2. 对抗性文本监督的学习

   • 该框架通过从对抗样本中端到端学习对抗性文本监督，显著改善了视觉和文本嵌入之间的对齐。这种方法使得模型能够在仅使用少量样本的情况下，达到与传统方法相当的对抗鲁棒性。
     

3. 新颖的训练目标

   • 提出的训练目标通过引入自然和对抗样本的区分，促进了多模态特征的一致性，同时鼓励单模态特征的差异化。这种设计有助于避免在对抗性适应过程中对自然泛化能力的损害。
     

4. 实验验证与结果

   • 通过在11个基准数据集上的实验，FAP框架在对抗性少样本学习、对抗性零样本迁移和基础到新泛化设置中，显著超越了现有的对抗性提示学习方法，证明了其有效性和优越性。

论文代码

代码链接：https://github.com/lionel-w2/FAP

中文关键词

1. 少样本学习
2. 对抗性提示学习
3. 视觉语言模型
4. 对抗鲁棒性
5. 文本监督
6. 多模态特征

Neurlps2024论文合集：

Neurlps2024论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！