聊聊蚂蚁开源多 Agent 框架 muAgent 的架构设计

▼最近直播超级多，预约保你有收获

—1—

muAgent 框架剖析

CodeFuse-muAgent 是蚂蚁 CodeFuse 团队开发的 Mulit Agent 框架，其核心宗旨在于简化 Agents 的标准操作程序（SOP）编排流程。muAgent 整合了一系列丰富的工具库、代码库、知识库以及沙盒环境，可支撑用户在任何领域场景都能依托 muAgent 迅速搭建起复杂的多 Agent 交互应用。通过这一框架，用户能够高效地执行和处理多层次、多维度的复杂任务。

在 muAgent 中，我们除了定义 Agent 交互链路和 AgentBase 基础执行流以外，还额外设计了 Prompt Manager 和 Memory Manager 两个基础组件，分别用于自动化构建 Prompt 和 chat history 管理。最终构建出一个可扩展、易于使用的 Multi-Agent 框架，包括以下内容：

• Agent Base：构建了四种基本的 Agent 类型 BaseAgent、ReactAgent、ExecutorAgent、SelectorAgent，支撑各种场景的基础活动。

• Communication：通过 Message 和 Parse Message 实体完成 Agent 间的信息传递，并与 Memory Manager 交互再 Memory Pool 完成记忆管理。

• Prompt Manager：通过Role Handler、Doc/Tool Handler、Session Handler、Customized Handler，来自动化组装Customized 的Agent Prompt。

• Memory Manager：用于支撑 chat history 的存储管理、信息压缩、记忆检索等管理，最后通过 Memory Pool 在数据库、本地、向量数据库中完成存储。

• Component：用于构建 Agent 的辅助生态组件，包括 Retrieval、Tool、Action、Sandbox 等。

• Customized Model：支持私有化的 LLM 和 Embedding 的接入。

 —2—

muAgent 关键技术  

关键技术一：Communication 进化论

信息如同血液，Agent 之间的通信变得前所未有的流畅，各类重要数据在Agents间如同接力赛跑，无缝传递！

• System Content：用于存储管理当前 LLM 输出的时间，Role 信息等。

• Info Content：LLM 辅助信息，比如像知识库查询信息、代码库检索信息、工具信息、Agent 信息等。

• LLM Content：直接存储和传递 LLM 产生的信息。

• LLM Parsed Content：对 LLM 进行解析转成更易操作的 key-value 数据结构，方便对 LLM 内容进行过滤。

• Customized Content：用于管理自定义 action 产生的 key-value 数据内容，用于后续自定义Prompt模板的组装构建。

关键技术二：Memory Manager 记忆强化

你的虚拟开发团队记忆力惊人，不管是保存、压缩还是检索聊天历史，他们能在数据库的海洋中自如潜泳。

• 存储管理：在数据库或本地实现对 chat history 进行 save 和 load 管理，包括 user input、 llm output、observation ouput。

• 信息压缩：对 chat history 进行关键信息压缩总结 summary context，比如：单文本概况、侧重不同角度进行文本概况、关键信息提取、多文本概况，作为 Prompt context。

• 记忆检索：提供基础检索功能，检索 chat history 或者 Summary Context 中与问题相关信息，辅助问答。

关键技术三：Prompt Manager – 大脑核心

如何让多个大模型分工并协调好 LLM 并来引导它们产生期望的输出，其本质就是将业务问题抽象并拆解到可执行的 Prompt，让他们像处理业务问题一样精准执行。Prompt Manager 正是这个大脑——将各类 Prompts 巧妙组装，从而驱动 LLM Agents 发挥出惊人的生产力！

muAgent 将Prompt Manager模块中分为 System Prompt、Context Prompt、Customized Prompt三部分：

• System Prompt 包括 Role Name、Role Description、Task 等，即希望模型执行的特定任务。

• Context Prompt 包括 Doc Context、Code Context、Tool Context、Agent Context、Session Context 等，即希望模型理解的请求所需的背景信息。

• Customized Prompt 则是 自定义的一些 Input 和 Ouput，即模型需要处理的数据和期望的输出类型或格式的信号。

关键技术四：Retrieval、Tool、Action – 辅助生态组件，muAgent 框架的得力小助手

• Retrieval：好比虚拟团队的知识库管理员，有求必应。集成了 Doc、Internet Search、Code Retrieval 三种检索信息的方式，定义了一个抽象IMRetrieval 类，可支持开发者自定义个性化的知识库，来完成 Agent 的知识库注册。

• Tool：工具百宝箱，任你挑选，一键调用解决问题。支持 Agent 完成 Tool的注册和 LangChain Tool 接口的直接使用。

• Action：作为 LLM 具体要执行的动作或动作流，会包括 LLM 信息处理、知识检索、工具调用以及代码执行等一个综合性的复杂过程，只要下达指令，他们就能将计划变成现实。

 —3—

大模型直播课

为了帮助同学们彻底掌握大模型 RAG、微调、Agent 等应用的深层原理，在企业中的应用实践，今天我会开场直播和同学们深度剖析，请同学们点击以下预约按钮免费预约。

—4—

加我微信

有很多不方便公开发公众号的我会直接分享在朋友圈，欢迎你扫码加我个人微信来看👇

⬇戳”阅读原文“，立即预约！

END