[论文阅读]Visual Adversarial Examples Jailbreak Aligned Large Language Models

Visual Adversarial Examples Jailbreak Aligned Large Language Models| Proceedings of the AAAI Conference on Artificial Intelligence

Proceedings of the AAAI Conference on Artificial Intelligence The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)

中文译名：视觉对抗样本越狱对齐的大语言模型

摘要

警告:本文包含具有攻击性的数据、提示和模型输出。

最近,将视觉集成到 大型语言模型(LLM)中的兴趣激增,典型代表是 Flamingo 和 GPT-4 等视觉语 言模型(VLMs)。本文揭示了这种趋势的安全性和安全隐患。首先,我们强调, 视觉输入的连续性和高维度性使其成为对抗性攻击的薄弱环节,代表了视觉集成 LLM 的扩展攻击面。其次,我们指出,LLM 的多功能性也为视觉攻击者提供了更广泛的对抗性目标,扩展了安全性故障的影响超出了单纯的误分类。举例来说, 我们展示了一项案例研究,其中我们利用视觉对抗性例子绕过了集成视觉的对齐 LLM 的安全保护措施。值得注意的是,我们发现单个视觉对抗性例子可以普遍绕过对齐的 LLM,迫使其执行广泛的有害指令(否则不会)并生成有害内容, 这些内容超出了最初优化对抗性例子的“少量样本”贬低语料库的范围。我们的研究强调了在追求多模态