来源:专知
受大型语言模型(LLM)快速发展的启发,LLM代理已发展到能够执行复杂任务的阶段。LLM代理现在广泛应用于各个领域,处理大量数据以与人类互动并执行任务。LLM代理的广泛应用展示了其显著的商业价值;然而,这也暴露了其安全和隐私漏洞。在当前阶段,非常需要对LLM代理的安全和隐私进行全面研究。本次调查旨在全面概述LLM代理面临的新出现的隐私和安全问题。我们首先介绍LLM代理的基本知识,然后对威胁进行分类和分析。接着,我们讨论这些威胁对人类、环境和其他代理的影响。随后,我们回顾现有的防御策略,最后探讨未来的发展趋势。此外,调查结合了多样的案例研究,以便更易于理解。通过强调这些关键的安全和隐私问题,本次调查旨在激发未来研究,以增强LLM代理的安全性和隐私性,从而在未来应用中提高其可靠性和可信度。
受到大型语言模型(LLM)快速发展的启发,LLM智能体已经发展到能够执行复杂任务的阶段。LLM智能体基于GPT-4 [67]、Claude 3 [6] 和Llama 3 [5] 等大型语言模型,利用其所训练的海量文本数据执行各种任务,从自然语言理解和生成到更复杂的决策制定、问题解决以及以人类方式与用户互动等[95]。LLM智能体在众多应用中都能见到,包括虚拟助手、客户服务机器人和教育工具,因为它们能够以高级水平理解和生成人类语言[22, 99, 115]。LLM智能体的重要性在于其能够通过自动化需要人类理解和互动的任务,转变各个行业。它们能够提高生产力、改善用户体验并提供个性化的帮助。此外,它们从海量数据中学习的能力使得它们能够不断改进和适应新任务,成为在快速发展的技术环境中的多功能工具[107]。
为了直观地展示LLM智能体如何整合到实际场景中,可以参考图1所示的例子。此图展示了一个像素化的虚拟城镇来模拟LLM智能体应用。该城镇包括现实生活中的聚集场所,如商店、办公室、餐馆、博物馆和公园。每个LLM智能体充当独立的居民,扮演各种角色并执行不同的功能,行为与社区中的真实人类非常相似。这些智能体可以手动控制以与特定角色互动并完成任务,或自主运行,按照自己的计划行事并通过在虚拟社区中的互动获取新知识。
LLM智能体的部署由于其在各个领域的广泛应用,导致其用户基础广泛且具有高商业价值。鉴于LLM智能体仍处于早期阶段,其显著的商业和应用价值使其成为攻击者的有吸引力的目标。然而,由于LLM智能体建立在LLM之上,它们容易受到针对LLM的攻击。例如,越狱攻击可以绕过LLM的安全和审查功能,生成有争议的回应。这种威胁被LLM智能体继承,使得攻击者能够采用各种方法对智能体执行越狱攻击。然而,与静态LLM不同,LLM智能体具有动态能力,其即时响应可以影响未来的决策和行动,从而带来更广泛的风险。此外,LLM智能体的独特功能,例如在任务执行过程中思考和利用工具的能力,使其容易受到针对智能体的特定攻击。例如,当LLM智能体使用外部工具时,攻击者可以操纵这些工具的功能以泄露用户隐私或执行恶意代码。根据智能体的应用领域,此类攻击可能对物理安全、金融安全或整体系统完整性构成严重威胁。
本文将LLM智能体面临的安全威胁分为继承自LLM的攻击和特定于智能体的独特威胁。继承自LLM的威胁可以进一步分为技术漏洞和故意的恶意攻击。技术漏洞包括幻觉、灾难性遗忘和误解等问题[107],这些问题源于初始模型的创建并受到模型结构的影响。这些漏洞可能导致用户在长时间使用LLM智能体时观察到错误输出,影响用户信任和决策过程。此外,技术漏洞还可能为恶意攻击提供机会。目前,针对LLM的恶意攻击包括数据盗窃和响应篡改,例如数据提取攻击和一系列调优的指令攻击[119]。
针对LLM智能体的特定威胁,我们受到了LLM智能体工作流程的启发,该流程包括智能体的思考、行动和感知[40]。这些威胁可以分为知识中毒、功能操纵和输出操纵。知识中毒涉及污染LLM智能体的训练数据和知识库,导致创建者故意加入恶意数据。这可以轻易地通过有害信息欺骗用户,甚至引导他们走向恶意行为。输出操纵干扰智能体的思考和感知阶段的内容,影响最终输出。这可以导致用户接收到经过精心设计的偏见或欺骗信息,从而误导他们。功能操纵利用LLM智能体使用的接口和工具执行未经授权的操作,如第三方数据盗窃或执行恶意代码。
LLM智能体的研究仍处于初期阶段。当前的研究主要集中在针对LLM的攻击上,而缺乏全面讨论智能体特定的安全和隐私问题的综述,这些问题呈现出更复杂的场景。进行本次调查的动机是提供LLM智能体相关隐私和安全问题的全面概述,帮助研究人员理解和缓解相关威胁。
本次调查旨在:
- 强调当前威胁:识别并分类LLM智能体面临的新兴威胁。
- 探讨现实世界影响:通过考虑涉及人类、环境和其他智能体的现实场景,详细说明这些威胁的影响。
- 分析缓解策略:讨论现有的缓解策略,确保LLM智能体的负责任开发和部署。
- 指导未来研究:作为未来研究工作的基础,旨在增强更先进架构和应用的LLM智能体的隐私和安全。
通过解决这些方面,本次调查旨在提供对LLM智能体所面临的独特挑战的深入理解,并促进更安全和可靠的通用人工智能(AGI)系统的发展。
本文的结构如下:第二部分将深入探讨LLM智能体的基本方面,包括其定义、结构和能力。第三部分将识别并分类LLM智能体面临的新兴威胁,讨论从基础LLM继承的威胁和特定于智能体的独特威胁,并为每个类别提供详细的示例和场景。第四部分将详细说明这些威胁的现实世界影响,探讨这些威胁如何影响用户、环境和其他智能体,突出未减轻风险的潜在后果。第五部分将回顾现有的缓解策略和解决方案,以应对上述威胁。第六部分将讨论当前研究的空白并提出未来的趋势。第七部分将总结全文。
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”