受大型语言模型（LLM）快速发展的启发，LLM代理已发展到能够执行复杂任务的阶段。LLM代理现在广泛应用于各个领域，处理大量数据以与人类互动并执行任务。LLM代理的广泛应用展示了其显著的商业价值；然而，这也暴露了其安全和隐私漏洞。在当前阶段，非常需要对LLM代理的安全和隐私进行全面研究。本次调查旨在全面概述LLM代理面临的新出现的隐私和安全问题。我们首先介绍LLM代理的基本知识，然后对威胁进行分类和分析。接着，我们讨论这些威胁对人类、环境和其他代理的影响。随后，我们回顾现有的防御策略，最后探讨未来的发展趋势。此外，调查结合了多样的案例研究，以便更易于理解。通过强调这些关键的安全和隐私问题，本次调查旨在激发未来研究，以增强LLM代理的安全性和隐私性，从而在未来应用中提高其可靠性和可信度。
受到大型语言模型（LLM）快速发展的启发，LLM智能体已经发展到能够执行复杂任务的阶段。LLM智能体基于GPT-4 [67]、Claude 3 [6] 和Llama 3 [5] 等大型语言模型，利用其所训练的海量文本数据执行各种任务，从自然语言理解和生成到更复杂的决策制定、问题解决以及以人类方式与用户互动等[95]。LLM智能体在众多应用中都能见到，包括虚拟助手、客户服务机器人和教育工具，因为它们能够以高级水平理解和生成人类语言[22, 99, 115]。LLM智能体的重要性在于其能够通过自动化需要人类理解和互动的任务，转变各个行业。它们能够提高生产力、改善用户体验并提供个性化的帮助。此外，它们从海量数据中学习的能力使得它们能够不断改进和适应新任务，成为在快速发展的技术环境中的多功能工具[107]。
为了直观地展示LLM智能体如何整合到实际场景中，可以参考图1所示的例子。此图展示了一个像素化的虚拟城镇**来模拟LLM智能体应用。该城镇包括现实生活中的聚集场所，如商店、办公室、餐馆、博物馆和公园。每个LLM智能体充当独立的居民，扮演各种角色并执行不同的功能，行为与社区中的真实人类非常相似。这些智能体可以手动控制以与特定角色互动并完成任务，或自主运行，按照自己的计划行事并通过在虚拟社区中的互动获取新知识。
LLM智能体的部署由于其在各个领域的广泛应用，导致其用户基础广泛且具有高商业价值。鉴于LLM智能体仍处于早期阶段，其显著的商业和应用价值使其成为攻击者的有吸引力的目标。然而，由于LLM智能体建立在LLM之上，它们容易受到针对LLM的攻击。例如，越狱攻击可以绕过LLM的安全和审查功能，生成有争议的回应。这种威胁被LLM智能体继承，使得攻击者能够采用各种方法对智能体执行越狱攻击。然而，与静态LLM不同，LLM智能体具有动态能力，其即时响应可以影响未来的决策和行动，从而带来更广泛的风险。此外，LLM智能体的独特功能，例如在任务执行过程中思考和利用工具的能力，使其容易受到针对智能体的特定攻击。例如，当LLM智能体使用外部工具时，攻击者可以操纵这些工具的功能以泄露用户隐私或执行恶意代码。根据智能体的应用领域，此类攻击可能对物理安全、金融安全或整体系统完整性构成严重威胁。
本文将LLM智能体面临的安全威胁分为继承自LLM的攻击和特定于智能体的独特威胁。继承自LLM的威胁可以进一步分为技术漏洞和故意的恶意攻击。技术漏洞包括幻觉、灾难性遗忘和误解等问题[107]，这些问题源于初始模型的创建并受到模型结构的影响。这些漏洞可能导致用户在长时间使用LLM智能体时观察到错误输出，影响用户信任和决策过程。此外，技术漏洞还可能为恶意攻击提供机会。目前，针对LLM的恶意攻击包括数据盗窃和响应篡改，例如数据提取攻击和一系列调优的指令攻击[119]。
针对LLM智能体的特定威胁，我们受到了LLM智能体工作流程的启发，该流程包括智能体的思考、行动和感知[40] 。这些威胁可以分为知识中毒、功能操纵和输出操纵。知识中毒涉及污染LLM智能体的训练数据和知识库，导致创建者故意加入恶意数据。这可以轻易地通过有害信息欺骗用户，甚至引导他们走向恶意行为。输出操纵干扰智能体的思考和感知阶段的内容，影响最终输出。这可以导致用户接收到经过精心设计的偏见或欺骗信息，从而误导他们。功能操纵利用LLM智能体使用的接口和工具执行未经授权的操作，如第三方数据盗窃或执行恶意代码。
LLM智能体的研究仍处于初期阶段。当前的研究主要集中在针对LLM的攻击上，而缺乏全面讨论智能体特定的安全和隐私问题的综述，这些问题呈现出更复杂的场景。进行本次调查的动机是提供LLM智能体相关隐私和安全问题的全面概述，帮助研究人员理解和缓解相关威胁。
本次调查旨在：
-
强调当前威胁：识别并分类LLM智能体面临的新兴威胁。
-
探讨现实世界影响：通过考虑涉及人类、环境和其他智能体的现实场景，详细说明这些威胁的影响。
-
分析缓解策略：讨论现有的缓解策略，确保LLM智能体的负责任开发和部署。
-
指导未来研究：作为未来研究工作的基础，旨在增强更先进架构和应用的LLM智能体的隐私和安全。
通过解决这些方面，本次调查旨在提供对LLM智能体所面临的独特挑战的深入理解，并促进更安全和可靠的通用人工智能（AGI）系统的发展。
本文的结构如下：第二部分将深入探讨LLM智能体的基本方面，包括其定义、结构和能力。第三部分将识别并分类LLM智能体面临的新兴威胁，讨论从基础LLM继承的威胁和特定于智能体的独特威胁，并为每个类别提供详细的示例和场景。第四部分将详细说明这些威胁的现实世界影响，探讨这些威胁如何影响用户、环境和其他智能体，突出未减轻风险的潜在后果。第五部分将回顾现有的缓解策略和解决方案，以应对上述威胁。第六部分将讨论当前研究的空白并提出未来的趋势。第七部分将总结全文。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
9913
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
