Magentic-One 是微软开源的通用多智能体系统,能够像人类专家一样解决复杂的网络和文件任务,性能比肩 SOTA。 它采用创新的多智能体架构,由 Orchestrator 代理协调其他专门代理完成任务,具有高度的模块化、灵活性和可扩展性。 Magentic-One 为开发者和研究人员提供了一个强大的平台,推动 AI 代理技术走向新的高度。
从“聊天”到“行动”的 AI 革命
想象一下,你只需要告诉 AI 你的需求,它就能自动帮你完成,比如预订机票和酒店、撰写市场调研报告、甚至帮你分析复杂的代码库。这不再是科幻电影的场景,而是 AI Agent技术带来的未来。与以往只能进行简单对话的 AI 系统不同,AI Agent更注重“行动”,它们能够像人类一样感知、推理和行动,真正将 AI 的力量转化为实际的生产力。
Magentic-One 正是这场 AI 革命的先锋。
开源多智能体系统,开启 AI 新纪元
Magentic-One 是微软研究院推出的一款开源通用多智能体系统,旨在解决跨多个领域的开放式网络和基于文件的复杂任务。 它能够像人类专家一样浏览网页、操作文件、编写和执行代码,甚至与其他人类进行交互。这标志着 AI 代理技术发展迈向新的里程碑,使其更接近于解决人们日常生活中遇到的各种问题。
Magentic-One 基于微软的开源多智能体应用开发框架 AutoGen 构建。AutoGen 提供了模块化和灵活的多智能体范例,使得 Magentic-One 具有高度的灵活性和可扩展性,为开发者和研究人员提供了一个强大的平台。
图1:Magentic-One 示例,展示了其在各种领域解决开放式网络和文件任务的能力。
架构解析:多Agent协同,高效解决问题
Magentic-One 采用独特的“多智能体”架构,其核心是一个名为 Orchestrator 的主Agent。 Orchestrator 就像一位总指挥,负责任务分解和规划、指导其他Agent执行子任务、跟踪总体进度以及根据需要采取纠正措施。它通过内外双循环机制进行工作:
-
外循环: 管理任务分类账(包含事实、猜测和计划),制定整体策略。
-
内循环: 管理进度分类账(包含当前进度、代理的任务分配),监控执行情况并动态调整。
图2:Magentic-One 的 Orchestrator Agent的双循环机制,展示了其如何管理任务和进度。
Magentic-One 包含四个专门Agent,各司其职:
-
WebSurfer: 负责操作浏览器,进行网页导航、点击、输入、提取信息等操作。
-
FileSurfer: 负责处理本地文件,例如读取、导航、搜索等。
-
Coder: 负责编写和分析代码。
-
ComputerTerminal: 提供控制台 shell,用于执行 Coder 编写的代码。
这些Agent协同工作,就像一个高效的团队,共同完成复杂的任务。Magentic-One 支持多模态 LLM,并与模型无关,可以灵活地使用不同的 LLM 和 SLM,例如 GPT-4o 和 OpenAI o1-preview。
Magentic-One示例:WebSurfer 和 Coder
Magentic-One 提供了丰富的示例来帮助开发者快速上手。以下分别展示了 WebSurfer 和 Coder 的简单示例:
WebSurfer 示例 (example_websurfer.py)
# ... (省略部分代码) async def main() -> None: # ... (省略部分代码) actual_surfer = await runtime.try_get_underlying_agent_instance(web_surfer.id, type=MultimodalWebSurfer) await actual_surfer.init( model_client=client, downloads_folder=os.getcwd(), start_page="https://www.bing.com", # 设置起始页面 browser_channel="chromium", # 使用Chromium浏览器 headless = False # 显示浏览器窗口 ) # ... (省略部分代码)
这段代码演示了如何初始化和使用 WebSurfer 代理,通过设置 headless = False
可以直接观察浏览器操作。用户可以与 WebSurfer 交互,指示其执行各种网页操作。
Coder 和 Executor 示例 (example_coder.py)
# ... (省略部分代码) async def main() -> None: async with DockerCommandLineCodeExecutor() as code_executor: # 使用 Docker 执行代码 # ... (省略部分代码) await Executor.register( runtime, "Executor", lambda: Executor("A agent for executing code", executor=code_executor, confirm_execution=confirm_code), ) # ... (省略部分代码)
这段代码演示了如何使用 Coder 代理编写代码,并通过 Executor Agent 在 Docker 容器中执行代码,保证了代码执行的安全性。
性能评估:比肩 SOTA,实力强劲
为了评估 Magentic-One 的性能,微软推出了 AutoGenBench,这是一个开源的Agent基准测试工具。在 GAIA、AssistantBench 和 WebArena 等基准测试中,Magentic-One 取得了与最先进技术(SOTA)相当或更优的性能,证明了其作为通用Agent系统的强大实力。
Image 3: Evaluation results of Magentic-One on the GAIA, AssistantBench and WebArena. Error bars indicate 95% confidence intervals. Note that WebArena results are self-reported.
图3:Magentic-One 在 GAIA、AssistantBench 和 WebArena 上的评估结果,误差线表示 95% 置信区间。WebArena 结果为自报告。
Magentic-One 的未来,无限可能
Magentic-One 的开源,为 AI Agent技术的发展带来了新的可能性。 未来,我们可以期待 Magentic-One 在更多领域展现其强大的能力,例如:
-
更复杂、更智能的任务自动化
-
更自然、更流畅的人机交互
-
更安全、更可靠的 AI 应用
Magentic-One 代表了 AI Agent 技术发展的重要一步,它展现了多智能体系统在解决复杂任务方面的巨大潜力。 随着技术的不断发展和完善,Magentic-One 将在未来发挥更大的作用,引领 AI Agent 新时代。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。