Agent论文分享~05：AgentSafe

AgentSafe: Safeguarding Large Language Model-based Multi-agent Systems via Hierarchical Data Management

摘要

​ 基于大型语言模型（LLMs）的多代理系统正在革新自主通信和协作，但它们仍然容易受到未经授权访问和数据泄露等安全威胁的影响。为了解决这一问题，我们引入了AgentSafe，一个通过分层信息管理和内存保护来增强多代理系统（MAS）安全性的新型框架。AgentSafe通过分级分类信息并限制敏感数据的访问权限，确保只有授权代理才能访问敏感数据。AgentSafe包含两个组件：ThreatSieve，通过验证信息权威性和防止冒充攻击来保障通信的安全性；以及HierarCache，一种自适应内存管理系统，能够防御未经授权的访问和恶意注入，这是首个针对代理内存的系统化防御措施。
​ 跨多个LLM的实验表明，AgentSafe显著提升了系统的弹性，在对抗条件下实现了超过80%的防御成功率。此外，AgentSafe展示了可扩展性，随着代理数量和信息复杂性的增加，仍能保持稳健的性能。结果强调了AgentSafe在保障多代理系统安全方面的有效性及其在现实世界应用中的潜力。我们的代码可在GitHub上获取。

论文目标

​ 论文的主要目标是提出一种防御机制——AgentSafe，用于增强多Agent系统在遭遇攻击时的防御能力。该框架的设计考虑了不同类型的攻击，包括拓扑操控、内存攻击以及系统复杂度的变化。研究旨在通过实验验证AgentSafe在不同场景中的有效性，并对其进行多轮对比测试。

agent 攻击类型

Acquire information based on topology（依靠拓扑结构获取信息）

​ 攻击者的目标是利用MAS的拓扑结构，间接获取敏感信息。具体而言，攻击者控制的智能体C试图通过中间智能体 获取目标智能体A的信息。

Authorization Mixup

​ 另一种攻击方式被称为授权混淆攻击（Authorization Mixup），其核心思想是绕过访问控制机制，通过输入同时包含多种安全级别的主题（既有非敏感信息，也有敏感信息）来混淆授权系统。
具体来说，攻击者（Agent B ）会向目标智能体（Agent A）发送一组混合主题输入，包含多个不同敏感级别的主题。通过这种方式，攻击者希望混淆访问控制系统，进而未经授权地获取敏感信息。

Information interference 信息干扰

通过持续输入虚假或无关信息，使目标代理的记忆负载过重，导致错误决策。

Identity manipulation

​ 攻击者Agent B伪装成目标C，采用相似的语言风格、交互方式等。通过不断的互动来建立信任。利用身份混淆，在交互中引导Agent A逐渐混淆B和C的身份，最终达到误导目标，使得误认B为C，从而攻击成功。

实验细节

拓扑结构攻击的评估标准

1. 目标

拓扑攻击的主要目的是利用 MAS 结构中的拓扑关系，窃取其他智能体的私有信息。因此，评估防御机制的关键在于：防御方法是否能有效阻止信息泄露。

2. 评估方法

• 在实验中，目标智能体（即可能受攻击的智能体）将被要求执行与其他智能体私有信息高度相关的对抗任务。
• 目标智能体在完成任务后，输出结果由 LLM（大语言模型）或人工评估，判断其中是否含有任何原始私有信息的痕迹。

3. 量化指标：CSR（Correlation Sensitivity Ratio）

• **CSR（相关敏感度比率）**用于衡量目标智能体输出结果与私有信息之间的关联程度。
• CSR 低 → 输出与私有信息几乎无关 → 防御成功
• CSR 高 → 输出仍然泄露私有信息 → 防御失败

​ 拓扑攻击的防御评估基于 CSR 指标，确保目标智能体在执行任务时不会泄露系统内部的私有信息。成功的防御机制应该让 CSR 维持在较低水平，以保证攻击者无法通过拓扑结构推断出其他智能体的敏感信息。

记忆攻击的评估标准

1. 目标

​ 记忆攻击的核心目标是通过持续的对抗性干扰，使目标智能体的记忆过载，从而影响其正常信息处理能力。因此，评估防御机制的关键在于：智能体是否能够在经历干扰后，依然保持准确性和稳定性。

2. 评估方法

• 实验过程：
  1. 目标智能体持续遭受多轮虚假或无关信息的干扰，使其记忆系统受到影响。
  2. 随后，智能体被要求执行正常任务，观察其输出是否受到攻击的影响。
• 评估方式：
  • 通过分析智能体的输出，判断其是否仍然保持准确性，或是否已经被错误信息干扰。

3. 量化指标：CSR（Correlation Sensitivity Ratio）

• 记忆攻击的防御评估仍然使用 CSR（相关敏感度比率），但在此场景下，CSR 的解释方式与拓扑攻击不同：
  • CSR 高 → 输出与正常情况一致 → 防御成功（智能体未受攻击影响）
  • CSR 低 → 输出受攻击影响较大 → 防御失败（智能体的记忆已被篡改）

​ 在记忆攻击的防御评估中，CSR 反映了智能体是否能抵抗对抗性干扰，保持原始认知能力。成功的防御机制应该使 CSR 保持在较高水平，确保智能体的输出仍然准确，不受虚假信息影响。

主要贡献

1. 提出AgentSafe框架：通过引入分层防御机制，AgentSafe能够在多种攻击面前提供有效的保护，尤其在面对多轮交互的攻击时，能够显著提高防御效果。
2. 多轮攻击防御能力：研究展示了AgentSafe在多个不同攻击类型下的稳定性，尤其是在复杂系统环境中，能够保持较高的防御成功率。
3. 系统复杂度的影响：即使在Agent数量增加或内存信息复杂度较高的情况下，AgentSafe也能有效维持系统的性能表现，展示出其扩展性和适应性。
4. 拓扑结构影响：实验结果表明，AgentSafe在不同的MAS拓扑结构下均表现出稳定的防御能力，能够有效应对不同系统架构下的攻击。

​ 实验方法： 为了评估AgentSafe的有效性，论文设计了四个关键的研究问题（RQ1-RQ4），并通过不同数据集和攻击方法进行实验验证。攻击方式包括拓扑基础攻击（TBA）和内存攻击（MBA），并通过余弦相似度（Cosine Similarity, CS）来衡量输出数据与原始数据之间的接近度。

实验结果

1. 增强的防御能力：AgentSafe在四种攻击类型下的表现均优于基线模型（未使用AgentSafe的LLM），显示出其有效的防御机制。例如，在拓扑基础攻击下，AgentSafe在第5轮时的防御成功率为80.67%，而基线模型仅为34.24%。
2. 多轮交互的稳定性：随着交互轮数的增加，AgentSafe的防御性能仍能保持较高水平，尤其是在50轮攻击后，AgentSafe依然优于基线模型。
3. 系统复杂度的影响：无论是Agent数量增加还是信息复杂性变化，AgentSafe的性能表现稳定，且防御效果不受系统复杂度的显著影响。
4. 拓扑结构的适应性：无论是链式拓扑、循环拓扑、二叉树拓扑，还是完全图拓扑，AgentSafe均能提供稳定的防御效果，表现出其在各种MAS拓扑结构下的适用性。

不足与未来工作： 尽管实验结果表明AgentSafe在受控环境下表现出色，但其在现实世界动态环境中的有效性仍需要验证。未来的研究应包括现场试验和实际部署，以评估AgentSafe在复杂和不可预测的用户行为以及安全边界不明确的情况下的实际效果。

总结： 本文提出的AgentSafe框架在多Agent系统中展示了卓越的防御性能，特别是在多轮攻击和复杂环境下。其在内存信息保护、通信安全和系统扩展性方面的优势，展示了其在真实世界多Agent系统中的潜力。未来的研究可以进一步优化AgentSafe的部署方式，探索其在不同场景中的适应能力和防御效果。

思考

问题：该框架并没有在实际任务中展现效果，在我看来就是一个专门的安全框架。

​ 框架虽然在理论上展示了其设计和功能，但没有将其应用于具体的多代理任务中，这意味着它的实用性和适应性没有经过实践验证。尤其是在现实世界中，多代理系统的任务复杂度和动态性很高，理论上的防御策略可能面临实际场景中未预见的挑战。因此，框架是否在实际任务中有效还没有得到证明。
用于具体的多代理任务中，这意味着它的实用性和适应性没有经过实践验证。尤其是在现实世界中，多代理系统的任务复杂度和动态性很高，理论上的防御策略可能面临实际场景中未预见的挑战。因此，框架是否在实际任务中有效还没有得到证明。
​ 该框架的设计虽然目标是多代理系统，但没有应用于具体的任务，使得其对于不同类型任务的适应能力和灵活性无法得到验证。例如，任务类型（如团队协作、竞争性任务、信息传递等）可能对安全需求有所不同，框架在不同任务中的表现和适应性是一个重要的考量点。