【NLP】大型语言模型代理的安全与隐私综述

来源：专知

受大型语言模型（LLM）快速发展的启发，LLM代理已发展到能够执行复杂任务的阶段。LLM代理现在广泛应用于各个领域，处理大量数据以与人类互动并执行任务。LLM代理的广泛应用展示了其显著的商业价值；然而，这也暴露了其安全和隐私漏洞。在当前阶段，非常需要对LLM代理的安全和隐私进行全面研究。本次调查旨在全面概述LLM代理面临的新出现的隐私和安全问题。我们首先介绍LLM代理的基本知识，然后对威胁进行分类和分析。接着，我们讨论这些威胁对人类、环境和其他代理的影响。随后，我们回顾现有的防御策略，最后探讨未来的发展趋势。此外，调查结合了多样的案例研究，以便更易于理解。通过强调这些关键的安全和隐私问题，本次调查旨在激发未来研究，以增强LLM代理的安全性和隐私性，从而在未来应用中提高其可靠性和可信度。

受到大型语言模型（LLM）快速发展的启发，LLM智能体已经发展到能够执行复杂任务的阶段。LLM智能体基于GPT-4 [67]、Claude 3 [6] 和Llama 3 [5] 等大型语言模型，利用其所训练的海量文本数据执行各种任务，从自然语言理解和生成到更复杂的决策制定、问题解决以及以人类方式与用户互动等[95]。LLM智能体在众多应用中都能见到，包括虚拟助手、客户服务机器人和教育工具，因为它们能够以高级水平理解和生成人类语言[22, 99, 115]。LLM智能体的重要性在于其能够通过自动化需要人类理解和互动的任务，转变各个行业。它们能够提高生产力、改善用户体验并提供个性化的帮助。此外，它们从海量数据中学习的能力使得它们能够不断改进和适应新任务，成为在快速发展的技术环境中的多功能工具[107]。

为了直观地展示LLM智能体如何整合到实际场景中，可以参考图1所示的例子。此图展示了一个像素化的虚拟城镇来模拟LLM智能体应用。该城镇包括现实生活中的聚集场所，如商店、办公室、餐馆、博物馆和公园。每个LLM智能体充当独立的居民，扮演各种角色并执行不同的功能，行为与社区中的真实人类非常相似。这些智能体可以手动控制以与特定角色互动并完成任务，或自主运行，按照自己的计划行事并通过在虚拟社区中的互动获取新知识。

LLM智能体的部署由于其在各个领域的广泛应用，导致其用户基础广泛且具有高商业价值。鉴于LLM智能体仍处于早期阶段，其显著的商业和应用价值使其成为攻击者的有吸引力的目标。然而，由于LLM智能体建立在LLM之上，它们容易受到针对LLM的攻击。例如，越狱攻击可以绕过LLM的安全和审查功能，生成有争议的回应。这种威胁被LLM智能体继承，使得攻击者能够采用各种方法对智能体执行越狱攻击。然而，与静态LLM不同，LLM智能体具有动态能力，其即时响应可以影响未来的决策和行动，从而带来更广泛的风险。此外，LLM智能体的独特功能，例如在任务执行过程中思考和利用工具的能力，使其容易受到针对智能体的特定攻击。例如，当LLM智能体使用外部工具时，攻击者可以操纵这些工具的功能以泄露用户隐私或执行恶意代码。根据智能体的应用领域，此类攻击可能对物理安全、金融安全或整体系统完整性构成严重威胁。

本文将LLM智能体面临的安全威胁分为继承自LLM的攻击和特定于智能体的独特威胁。继承自LLM的威胁可以进一步分为技术漏洞和故意的恶意攻击。技术漏洞包括幻觉、灾难性遗忘和误解等问题[107]，这些问题源于初始模型的创建并受到模型结构的影响。这些漏洞可能导致用户在长时间使用LLM智能体时观察到错误输出，影响用户信任和决策过程。此外，技术漏洞还可能为恶意攻击提供机会。目前，针对LLM的恶意攻击包括数据盗窃和响应篡改，例如数据提取攻击和一系列调优的指令攻击[119]。

针对LLM智能体的特定威胁，我们受到了LLM智能体工作流程的启发，该流程包括智能体的思考、行动和感知[40]。这些威胁可以分为知识中毒、功能操纵和输出操纵。知识中毒涉及污染LLM智能体的训练数据和知识库，导致创建者故意加入恶意数据。这可以轻易地通过有害信息欺骗用户，甚至引导他们走向恶意行为。输出操纵干扰智能体的思考和感知阶段的内容，影响最终输出。这可以导致用户接收到经过精心设计的偏见或欺骗信息，从而误导他们。功能操纵利用LLM智能体使用的接口和工具执行未经授权的操作，如第三方数据盗窃或执行恶意代码。

LLM智能体的研究仍处于初期阶段。当前的研究主要集中在针对LLM的攻击上，而缺乏全面讨论智能体特定的安全和隐私问题的综述，这些问题呈现出更复杂的场景。进行本次调查的动机是提供LLM智能体相关隐私和安全问题的全面概述，帮助研究人员理解和缓解相关威胁。

本次调查旨在：

- 强调当前威胁：识别并分类LLM智能体面临的新兴威胁。

- 探讨现实世界影响：通过考虑涉及人类、环境和其他智能体的现实场景，详细说明这些威胁的影响。

- 分析缓解策略：讨论现有的缓解策略，确保LLM智能体的负责任开发和部署。

- 指导未来研究：作为未来研究工作的基础，旨在增强更先进架构和应用的LLM智能体的隐私和安全。

通过解决这些方面，本次调查旨在提供对LLM智能体所面临的独特挑战的深入理解，并促进更安全和可靠的通用人工智能（AGI）系统的发展。

本文的结构如下：第二部分将深入探讨LLM智能体的基本方面，包括其定义、结构和能力。第三部分将识别并分类LLM智能体面临的新兴威胁，讨论从基础LLM继承的威胁和特定于智能体的独特威胁，并为每个类别提供详细的示例和场景。第四部分将详细说明这些威胁的现实世界影响，探讨这些威胁如何影响用户、环境和其他智能体，突出未减轻风险的潜在后果。第五部分将回顾现有的缓解策略和解决方案，以应对上述威胁。第六部分将讨论当前研究的空白并提出未来的趋势。第七部分将总结全文。

往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑

• 交流群

欢迎加入机器学习爱好者微信群一起和同行交流，目前有机器学习交流群、博士群、博士申报交流、CV、NLP等微信群，请扫描下面的微信号加群，备注：”昵称-学校/公司-研究方向“，例如：”张小明-浙大-CV“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~（也可以加入机器学习交流qq群772479961）