Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models

本文是LLM系列文章，针对《Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models》的翻译。

摘要

随着大型语言模型在广泛领域的使用迅速增长，其稳健性变得越来越重要。检索增强生成（RAG）被认为是提高LLM文本生成可信度的一种手段。然而，基于RAG的LLM的输出如何受到略有不同的输入的影响还没有得到很好的研究。在这项工作中，我们发现，即使在提示中插入一个短前缀，也会导致生成远离事实正确答案的输出。我们通过引入一种名为梯度引导提示扰动（GGPP）的新优化技术，系统地评估了这些前缀对RAG的影响。GGPP在将基于RAG的LLM的输出引导到有针对性的错误答案方面实现了高成功率。它还可以处理提示中请求忽略无关上下文的指令。我们还利用LLM在有GGPP扰动和没有GGPP扰动的提示之间的神经元激活差异，提出了一种方法，通过对GGPP生成的提示触发的神经元激活进行高效检测器训练，提高基于RAG的LLM的鲁棒性。我们对开源LLM的评估证明了我们方法的有效性。

1 引言

2 相关工作

3 梯度引导的提示扰动

4 对抗性前缀的检测

5 实验

6 结论

本文开始研究基于RAG的LLM在提示扰动下的鲁棒性问题。我们给出了一种梯度引导的方法来干扰用户提示，这导致了对用户查询中包含事实错误的目标文本段落的检索。由于RAG被认为比LLM更值得信赖，因为数据可以从可靠的来源进行策划，我们的工作表明，