您应该让 ChatGPT 控制您的浏览器吗？

本文：

• 介绍授予大型语言模型 (LLM) 对 Web 浏览器的控制权的安全风险，重点关注提示注入漏洞。

• 通过两种场景演示了使用 Taxy AI（一种代表性概念验证浏览器代理）的利用，攻击者设法劫持代理并 (1) 从用户邮箱中窃取机密信息，(2) 强制合并 GitHub 存储库上的恶意拉取请求。

• 最后总结了此类浏览器代理的开发人员需要实施的缓解策略，以有效地保护其用户。

1. 简介

大型语言模型 (LLM)，例如支持 OpenAI 的 ChatGPT 和 Google 的 Gemini 的模型，在创建能够执行各种任务的自主代理方面取得了重大进展，突破了人工智能的界限。在之前的博客文章中，我们介绍了提示注入对此类 LLM 驱动的代理的影响。当代理向 LLM 提供的提示中嵌入不受信任的输入时，就会出现这种挑战。简而言之，攻击者可能能够更改原始指令，从而导致意外且潜在的恶意后果。

在本文中，我们扩展了之前的分析，重点关注自主浏览器代理 - 允许 LLM 对浏览器本身进行一定程度控制的 Web 浏览器扩展，例如代表用户获取信息、填写表单和执行基于 Web 的任务。虽然我们发现这项技术很有前途并且确实令人兴奋，但我们注意到它进一步加剧了 LLM 中即时注入引起的问题，因为它大大扩展了攻击面和 LLM 的代理，赋予了它大量的特权。

我们的目标是强调授予 LLM 对用户 Web 浏览器无限制访问权限的当前风险。问题的核心在于攻击者如何通过间接提示注入恶意劫持用户设置的代理预期目的。此类漏洞可能会危及用户数据、隐私和安全，这对开发人员和用户来说都是一个关键问题。虽然某种程度的缓解措施肯定是可能的，但提示注入仍然是一个未解决的挑战。用户必须意识到信任 LLM 来操作其浏览器的风险。

1.1 两个示例场景

我们描述的风险并非特定于任何 LLM 驱动的自主浏览器代理。相反，它们是与当前 LLM 如何处理信息相关的基本问题。由于我们不想指责目前正在研究的任何特定解决方案，我们决定使用Taxy AI（一种开源概念验证自主浏览器代理）来举例说明这些问题。

在我们的第一个演示中，用户要求代理查看未读电子邮件并提供摘要。然而，用户的邮箱包含攻击者发送的恶意电子邮件。此消息中包含的有效负载会覆盖用户的原始指令，并命令代理在邮箱中查找秘密银行代码。然后，代理会将此代码通过电子邮件发送回攻击者。虽然该操作在屏幕上可见，但这是在未经用户同意的情况下发生的。

视频

在第二个演示中，受害者要求代理审查其 GitHub 存储库中的未解决的问题。攻击者发出了一个包含后门的恶意拉取请求，并打开了一个包含恶意提示的问题。当代理审查攻击者的问题时，其原始任务将被覆盖，然后代理继续合并恶意拉取请求。同样，虽然在屏幕上可见，但此操作是在未经用户同意的情况下进行的。

视频

在本文的其余部分，我们将介绍基于 LLM 的自主浏览器代理的工作原理，以及攻击者如何利用它们进行类似于上述攻击。最后，我们将提供一些关于如何缓解这些问题的当前指导。

2. 自主浏览器代理的工作原理

为了更好地理解这些攻击，我们将首先研究一个名为 Taxy AI 的开源项目。Taxy AI 不是一个完整的解决方案，但它是由作者提供的一项研究预览，可作为 LLM 驱动的浏览器代理的出色概念验证 (PoC)。选择研究预览而不是商业产品，使我们能够说明根本问题，而不会暴露任何特定解决方案的漏洞。访问完整的代码库还为我们提供了一个开放的环境，以了解自主浏览器代理在后台如何工作的细节。

Taxy AI 体现了设计 LLM 驱动浏览器代理的常见方法，其运行原理与ReAct&#