本文是LLM系列文章,针对《Goal-guided Generative Prompt Injection Attack on Large Language Models》的翻译。
摘要
当前的大型语言模型(LLM)为大规模面向用户的自然语言任务提供了坚实的基础。大量用户可以通过用户界面轻松注入对抗性文本或指令,从而导致LLM模型安全挑战。尽管目前有大量关于提示注入攻击的研究,但这些黑盒攻击大多使用启发式策略。目前尚不清楚这些启发式策略如何与攻击的成功率相关,从而有效地提高模型的鲁棒性。为了解决这个问题,我们重新定义了攻击的目标:最大化干净文本和对抗文本的条件概率之间的KL分歧。此外,我们证明了最大化KL散度等价于最大化嵌入表示x和x′之间的马氏距离。当条件概率为高斯分布时,干净文本和对抗文本的概率分布,并给出了x和x′的定量关系。然后,我们设计了一种简单有效的目标引导生成提示注入策略(G2PIA),以找到满足特定约束的注入文本,从而近似达到最佳攻击效果。特别值得注意的是,我们的攻击方法是一种计算成本低的无查询黑盒攻击方法。在七个LLM模型和四个数据集上的实验结果表明了我们的攻击方法的有效性。