揭秘新型攻击手段：利用间接注入攻陷大型语言模型

揭秘新型攻击手段：利用间接注入攻陷大型语言模型

llm-securityNew ways of breaking app-integrated LLMs 项目地址:https://gitcode.com/gh_mirrors/ll/llm-security

在网络安全的世界中，每一次新的发现都可能开启一扇未知的大门。这次，我们有幸接触到一个名为"Demonstrating Indirect Injection attacks on Bing Chat"的开源项目，它揭示了一类前所未有的漏洞，即通过“间接提示注入”影响集成到应用程序中的大型语言模型（LLMs）。该项目由一组研究者精心打造，并已在ArXiv上发表论文进行深入探讨。

项目介绍

这个项目深入探究了大型语言模型的安全边界，如GPT-4（包括Bing和合成应用）以及基于ChatML、GPT-3和LangChain的应用程序。研究人员还展示了针对代码完成引擎（如Copilot）的潜在攻击概念验证。他们强调，提示注入不仅是好奇心的表现，而且可能是部署LLMs的重大障碍。

项目技术分析

该项目通过一系列演示揭示了语言模型如何变得可远程控制，如何泄露或篡改用户数据，以及如何通过电子邮件传播注入等。关键在于，即使不直接侵入连接的应用程序，仅通过调用LLM，攻击者也能实现目标。这表明，提示注入可以像任意代码执行一样强大，而间接提示注入是一种更强大的注入方法。

应用场景

该项目揭示的攻击方法对于依赖LLMs处理敏感信息的企业尤其重要，例如自动邮件处理、代码审查和智能助手等。如果这些系统被诱导执行恶意指令，其后果将不堪设想。此外，它还提醒开发者要警惕LLMs在自动化数据处理管道中的作用，因为这些管道可能成为攻击者的目标。

项目特点

1. 创新性: 该研究首次展示了一种全新的攻击方式，即通过间接提示注入来操纵和破坏大型语言模型。
2. 实用性: 演示都是基于真实世界的应用场景构建的，为安全专业人员提供了直观的理解。
3. 警示意义: 它提醒我们，在集成LLMs时必须考虑安全风险，这不仅关乎LLM本身，也关乎与其交互的整个系统生态。
4. 公开透明: 该项目是完全开源的，提供了一个测试和学习此类攻击的平台，帮助安全社区共同提升防护水平。

为了体验这些攻击示例，只需拥有适当的API密钥和Python环境，就可以运行项目提供的脚本，深入理解这些潜在威胁。

结论

"Demonstrating Indirect Injection attacks on Bing Chat"项目为我们敲响了警钟，大型语言模型并非无懈可击，它们可能成为恶意行为者的攻击媒介。对这些新发现的深入研究，对于我们构建更加安全的应用和系统至关重要。

要深入了解并尝试这些攻击示例，请访问项目页面并阅读相关论文：

项目主页 | ArXiv论文 | PDF下载

让我们一起探索这一领域，提高我们的安全意识和技术防御能力。

llm-securityNew ways of breaking app-integrated LLMs 项目地址:https://gitcode.com/gh_mirrors/ll/llm-security