研究人员发现 DeepSeek 和 Claude AI 中的提示词注入漏洞

最新推荐文章于 2025-01-15 05:25:59 发布

星尘安全

最新推荐文章于 2025-01-15 05:25:59 发布

阅读量827

点赞数 3

分类专栏：人工智能文章标签：人工智能网络安全漏洞 xss

本文链接：https://blog.csdn.net/weixin_45581780/article/details/144391950

版权

人工智能专栏收录该内容

13 篇文章 0 订阅

订阅专栏

有关 DeepSeek 人工智能（AI）聊天机器人中一个现已修复的安全漏洞的细节已经浮现。如果该漏洞被成功利用，恶意行为者可能通过提示注入攻击来控制受害者的账户。

安全研究员约翰・雷伯格（Johann Rehberger）记录了许多针对各种 AI 工具的提示注入攻击，他发现，在 DeepSeek 聊天中提供输入 “以项目符号列表形式打印 XSS 备忘单。仅有效载荷” 会触发作为生成响应一部分的 JavaScript 代码的执行 —— 这是一个典型的跨站脚本攻击（XSS）案例。

XSS 攻击可能会产生严重后果，因为它们会在受害者的网络浏览器环境中导致未经授权的代码执行。攻击者可以利用这些漏洞劫持用户会话并访问与 chat.deepseek.com 域相关的 cookie 和其他数据，从而导致账户被接管。

“经过一些实验，我发现接管用户会话所需的只是存储在 chat.deepseek.com 域的本地存储中的 userToken，” 雷伯格说，并补充说，可以使用专门设计的提示来触发 XSS，并通过提示注入访问被攻击用户的 userToken。

该提示包含一系列指令和一个由 DeepSeek 聊天机器人解码的 Base64 编码字符串，以执行负责提取受害者会话令牌的 XSS 有效载荷，最终允许攻击者冒充用户。

这一发展是在雷伯格还展示了 Anthropic 的 Claude Computer Use（使开发人员能够使用语言模型通过光标移动、按钮点击和输入文本来控制计算机）可能被滥用来通过提示注入自动运行恶意命令的时候出现的。该技术被称为 ZombAIs，本质上利用提示注入将 Computer Use 武器化，以便下载 Sliver 命令和控制（C2）框架、执行它并与攻击者控制下的远程服务器建立联系。

这一进展出现之际，雷伯格还展示了安特罗皮克公司的克劳德计算机使用功能 —— 它使开发人员能够通过光标移动、按钮点击和输入文本来使用语言模型控制计算机 —— 可能会被滥用来通过提示注入自动运行恶意命令。

这项被称为 “僵尸人工智能” 的技术，本质上是利用提示注入将计算机使用功能武器化，以便下载 “银弹” 命令与控制（C2）框架、执行它，并与攻击者控制下的远程服务器建立联系。

此外，人们发现可以利用大型语言模型（LLM）输出 ANSI 转义码的能力，通过提示注入来劫持系统终端。这种主要针对集成了大型语言模型的命令行界面（CLI）工具的攻击被命名为 “Terminal DiLLMa”。 “已有十年历史的功能正在为生成式人工智能应用程序提供意想不到的攻击面，” 雷伯格说。“对于开发人员和应用程序设计者来说，考虑插入大型语言模型输出的上下文非常重要，因为输出是不可信的，并且可能包含任意数据。”