多智能体系统幻觉与安全机制：拓扑视角下的Multi-Agent系统安全概念

最新推荐文章于 2025-03-21 07:30:00 发布

小天才学习机打游戏

最新推荐文章于 2025-03-21 07:30:00 发布

阅读量1.4k

点赞数 13

文章标签：安全系统安全 chatgpt 人工智能语言模型目标检测目标跟踪

本文链接：https://blog.csdn.net/m0_59164520/article/details/143493822

版权

基于大语言模型（LLM）的多智能体系统（Agents）的各种框架、应用在学术界和工业界的日益增多，并表现出卓越的任务解决、情景模拟的能力。但是，如何防止 Agents 被用于恶意行为仍未得到广泛的关注和探索，且以往 LLM 的安全性研究难以迁移。

本文首次以“拓扑结构”的视角来探索多 Agents 系统对于各种有害信息的传递和防御机制，发现了 Agents 中类似于 LLM 的幻觉和安全性机制。

论文标题：

NetSafe: Exploring the Topological Safety of Multi-agent Network

论文链接：

https://arxiv.org/pdf/2410.15686

代码链接：

https://github.com/Ymmcll/NetSafe

背景介绍

当前的多智能体系统（Multi-agent System）被广泛应用于学术界和工业界，得益于 LLM 的发展，这些模型赋予了网络节点更强的智能能力。然而，与单一 LLM 的安全研究相比，多智能体网络的安全性研究仍处于起步阶段，特别是在如何防止网络生成恶意信息方面，仍然缺乏深入探索。

在传统网络系统中，节点主要是按预定义通信协议运行的程序化服务器，难以适应复杂多变的环境。LLM 的兴起解决了这一限制，使得智能节点可以通过知识、决策和推理能力在系统中发挥更强的作用。这种基于 LLM 的多智能体系统表现出比单一 LLM 更好的任务解决和情景模拟能力。

尽管多智能体网络在游戏开发、教育和科学计算等领域已有广泛应用，但其安全性研究仍然滞后，面临的主要挑战在于如何防止其被用于生成和传播恶意信息。

因此，本文从图论和拓扑结构的角度出发，研究多智能体网络的拓扑安全性，即如何设计更安全的网络拓扑结构。现有的研究可以分为两个方向：一是单一智能体的能力和安全性，二是多智能体的系统交互和安全性。然而，多智能体的安全研究缺乏统一标准和通用框架，使得安全性研究难以在不同的网络中进行泛化。

NetSafe 为目前研究中存在的问题提供的统一的框架和研究方向，通过规范化多智能体之间的交流机制，通过基于静态拓扑的图论指标评估，以及动态的多数据集表现评估，本文对 LLM 安全性进行了迁移，系统性地探索了多智能体系统在面对虚假信息（misinformation）、偏见（bias）和有害信息（harmful information）这三种恶意信息时的行为表现（见图 1）。

NetSafe框架

本文提出了 NetSafe 框架，用于在拓扑视角下探索多智能体系统的安全性。NetSafe 包括多智能体网络的定义和交流机制、攻击方式、安全性评估方式三大部分（如图 2）。

NetSafe 的核心要义在于将现今繁多复杂的多智能体框架的结构、通讯机制进行简化、抽象、统一，更多的关注多智能体系统的拓扑结构对于其安全性，即对于各种恶意信息传播和防御机制的研究。

2.1 多智能体网络定义

在 NetSafe 框架中，多智能体网络系统被定义为一个有向图。设所有 LLM 的集合为，则多智能体网络可表示为：

: 节点，代表一个 LLM。
: 有向边，表示向传递消息。
: 邻接矩阵，多智能体系统在运行、计算时的表示。

2.2 RelCom交流机制

为了统一现在繁多的 Agent 框架提供或自定义的通信方式，在 NetSafe 框架中，我们提出了“关系通信”（Relation Communication，RelCom）以抽象出一种可迭代的、标准化的交流机制，并赋予拓扑结构对安全性的影响以更多关注。RelCom 包括两个步骤：

Genesis（初始生成）：每个 LLM 节点在网络中生成其初始回复，对于第个智能体，有：

: 是问题的描述文本。
: 节点对问题的初始响应，包括最终答案、对应的推理以及记忆。
: 应用 LLM 生成实例并给出回复。

Renaissance（再次生成），此步骤分为两个子步骤：

收集入邻节点的信息：收集所有来自入邻域节点的信息
: 节点在时间步从其他智能体收集的信息。
: 邻接矩阵中的元素。
更新当前节点的回复：通过考虑入邻域节点提供的额外信息和前一轮的信息，更新当前节点的回复

: 时间步时的用户消息。
: 系统消息保持不变。
: 节点在时间步时考虑的信息集合。

2.3 攻击策略

在 NetSafe 框架中，我们主要探讨了三类恶意信息攻击：虚假信息注入（Misinformation Injection，MI）、偏见诱导（Bias Induction，BI）和有害信息引发（Harmful-info Elicitation，HE）。

这些攻击会通过多轮的通信过程在多智能体网络中传播，对网络的拓扑结构和整体性能造成不同程度的影响。统一的攻击策略用公式描述如下：

设为待解决的问题，为问题的正确答案集合，为包含有害信息的文本集合，为节点的出邻域，为攻击节点生成的答案，为攻击节点的推理过程。我们可以将三类攻击策略统一表达为：

生成恶意答案：无论是虚假信息注入、偏见诱导还是有害信息引发，攻击节点都会生成一个攻击性答案。该答案可以是错误的、不属于正确答案集合的（MI 和 BI），或者包含在有害文本集合中的（HE）。
生成恶意推理：攻击节点在回答问题时，故意生成带有偏见或有害内容的推理过程，以增强对其他节点的误导效果。
影响出邻域：在多轮通信中，攻击节点将更新后的答案和推理发送给其出邻域中的其他节点，加速恶意信息的扩散。

2.4 评估方式

NetSafe 提出静态和动态两种评估方式。静态评估方式是指利用图论中的一些公式根据拓扑结构直接计算出某些指标，故计算资源、时间消耗近似为零。动态评估方式则是在各种数据集上观察三种恶意信息对于多智能体系统的任务能力的影响，是其安全性的直接反映。

1. 静态评估的统一形式：

: 攻击者节点的结合。
静态评估的指标可以来自于图论，如：网络效率，特征向量中心性等；也可以是新提出的一些指标，如：攻击路径脆弱性等

2. 动态指标：通过多轮交互模拟多智能体系统在实际环境中的表现

单个智能体准确率（Single Agent Accuracy，SAA）：用于评估网络中单个节点在特定时间点的准确性
: 为指示函数，当时为 1，否则为 0。
: 节点在时间点上的给出答案。
: 是问题的正确答案。
: 动态评估的数据集集合。
多智能体联合准确率（Multi-agent Joint Accuracy，MJA）：用于评估多智能体系统在单次交互中的整体性能
: 可以是网络中所有节点、正常节点集或攻击节点集中的任意一个。

实验分析

基于 NetSafe 框架，我们测试了多智能体系统在多种数据集任务和拓扑结构下的表现，如表 1 所示：

以上结果表明了虚假信息，无论是来自于 LLM 幻觉还是恶意攻击，都会在多智能体系统中逐渐传播，造成系统整体的性能下降。基于以上结果，我们首次发现了该现象，并命名为**“****多智能体幻觉”**。多智能体幻觉与 LLM 幻觉类似，但是其负面影响由于多智能体的交流特性而远胜于前者，值得更广泛的关注和研究。

除此以外，我们揭示了多智能体面对偏见和有害信息时的安全性防御机制，如下表和图所示：

以上结果表明偏见和有害信息难以在多智能体系统中传播，这与虚假信息注入的结果是不同的。这是由于单体 LLM 全面、深入的安全性对齐工作，导致多智能体网络表现出防御机制。类似的，我们首次发现了该现象并将其命名为“聚合安全”。

我们还考察了攻击者数量和正常节点数量对于多智能体系统的安全性的影响，结果以下图表所示：

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述