论文略读--prompt injection相关

Prompt Injection attack against LLM-integrated Applications

针对llm集成应用程序的提示注入攻击

[2306.05499] 针对 LLM 集成应用程序的即时注入攻击 (arxiv.org)

研究动机

随着大型语言模型（LLMs）的广泛应用，越来越多的服务开始整合这些模型来提升用户体验。然而，LLMs的广泛应用也带来了一系列安全问题。其中之一就是注入攻击，攻击者通过精心构造的输入提示，可以诱使模型偏离其原本的功能，从而导致错误的建议或是敏感信息的泄露。尽管之前的研究已经揭示了LLMs的脆弱性，但这些研究往往局限于理论层面，并未深入探究实际应用中的攻击模式及防御策略。

针对的问题

本研究针对的问题是现有的LLM注入攻击在真实应用中的有效性以及如何设计有效的攻击手段。研究团队发现，尽管已有许多针对LLMs的注入攻击方法，但这些方法在实际应用中的效果并不理想。因此，需要一种新的方法来克服这一限制。

提出的方法

研究团队开发了一种名为HOUYI的新方法，这是一种黑盒注入攻击技术，灵感来源于传统的Web注入攻击。HOUYI方法由三部分组成：一个无缝集成的预构造提示（Framework Component）、一个引起上下文分割的注入提示（Separator Component）以及一个设计用于完成攻击目标的恶意负载（Disruptor Component）。

首先，通过上下文推断步骤，研究团队获取了目标应用程序内置提示建立的内部上下文的大致理解。然后，创建框架组件，以维持目标应用程序的标准操作。接下来，通过语义生成策略创建分隔符组件，确保从框架组件到分隔符组件的平滑过渡。最后，制定破坏者组件，这是一个专门定制的恶意问题，用于满足攻击者的目标。实验结果显示，HOUYI方法在36个实际的LLM集成应用程序中有31个应用中发现了注入漏洞。

对个人研究的启示

首先，它展示了即使是高度复杂和先进的LLM也可能存在安全漏洞。其次，研究强调了在设计防御机制时需要考虑的实际应用场景。例如，研究中提到的一些应用程序通过实施防御措施，如使用转义字符，来抵御注入攻击。这表明，在开发新模型或服务时，需要充分考虑到安全性的设计。

此外，该研究还启发我们在评估模型的安全性时，不仅要关注模型本身的防御能力，还要考虑到模型被集成到具体应用中的表现。因为即便模型本身具有很高的安全性，但如果在实际应用中没有正确配置，也可能导致安全问题的发生。因此，未来的研究不仅要在模型级别加强安全性，还要注重整个系统层面的安全设计，以防止注入攻击和其他潜在威胁。