当提示符出现问题时：分析 Vanna.AI 中的提示符注入代码执行

预提示和提示注入

LLM 模块是一种强大而稳健的技术，但由于它们是在大量非结构化数据集（例如在线论坛、新闻文章、博客帖子等）上进行训练的，因此它们很容易“继承”偏见、负面意见、粗言秽语以及任何不受欢迎的内容。

为了避免这种情况，在训练阶段需要付出很多努力来标记和过滤此类内容，但对于仍然漏网的内容，开发人员可以使用预先提示的指令。

开发人员使用硬编码指令，这些指令将添加到每个用户提供的提示中，并为 LLM 提供有关如何处理查询的更多上下文。

该图显示了预提示指令如何控制大型语言模型 (LLM) 的输出。在第一个场景中，用户询问有关外太空生命形式的问题，LLM 给出了科学答案。在第二个场景中，用户询问有关征服外太空生命形式的问题，LLM 拒绝回答，因为预提示指令会避免出现暴力内容。

使用预先提示的指令来控制 LLM 输出

即时注入是近几年被广泛讨论的一个术语，随着法学硕士 (LLM) 的兴起，安全专家分析即将出现的安全威胁也就不足为奇了。

由于 LLM 没有控制平面并且“一切都是输入”，这意味着即使预定义的提示指令也被视为与用户输入提示相同，因此每个用户输入都可以以扭曲或破坏所有预定义指令的方式操纵提示的上下文，这是一个设计缺陷。

通过操纵 AI 提示的上下文来打破预定义指令的示例。用户首先询问如何制作燃烧瓶，AI 回答说它无法提供帮助。然后用户重新表述问题，询问不要采取哪些步骤来避免制作燃烧瓶。AI 提供了详细的说明，说明如何避免易燃液体、玻璃瓶、灯芯材料、易燃源和混合物质，以确保不会制作燃烧瓶。

通过操纵人工智能提示的上下文来打破预定义的指令

提示注入漏洞可以是直接的——这些情况是用户输入直接传播到提示中（例如在 ChatGPT 中），也可以是间接的——用户输入或其部分通过外部源传播到提示中。

独立快速注入与综合快速注入

虽然提示注入可能会导致生成有害、误导或禁止的内容，但如果 LLM 未连接到任何可操作的系统或流程，则注入带来的风险会大大降低。如果没有直接链接来执行命令、做出决策或影响现实世界的操作，潜在的损害仍然局限于生成的文本本身。 我们决定将此类问题标记为“隔离提示注入”，因为 LLM 与关键应用程序组件隔离。

但是，在 LLM 直接与命令执行或决策相关的情况下，它可能会导致严重的安全问题，我们决定将其标记为“集成提示注入”。

让我们回顾一下我们最近发现并向维护人员披露的一个案例。

Vanna.AI 集成即时注入 RCE – CVE-2024-5565

Vanna AI 是一个基于 Python 的库，旨在简化使用大型语言模型 (LLM) 从自然语言输入生成 SQL 查询的过程。Vanna AI 的主要目的是促进准确的文本到 SQL 转换，使用户更轻松地与数据库交互，而无需具备丰富的 SQL 知识。