Agentic AI 应用日渐增多,OpenAI Agent【Tasks】已来,新域名operator.chatgpt.com也已准备就绪。
未来,正朝着多个基于LLM的智能体的方向发展,共同感知、学习、推理和行动,以协作为核心,使得一群 Agent 集体地协调和解决大规模的复杂任务。
OpenAI的Multi-Agent Swarm在客户服务中用例
为了指导未来Multi-Agent系统协作方面的研究引入了一个可扩展的框架,基于关键维度来表征协作机制:
-
参与者(Actors):涉及的智能体。
-
类型(Types):合作、竞争或合作竞争。
-
结构(Structures):点对点、集中式或分布式。
-
策略(Strategies):基于角色或基于模型。
-
协调机制(Coordination Mechanisms):智能体之间的协调和协作。
基于LLM的多智能体协作系统的框架。每个智能体由一个语言模型m作为神经处理器、当前目标o、环境e、输入感知x和相应的输出/动作y组成。框架的核心关注点是协作渠道C,这些渠道促进智能体之间的协调和编排。这些渠道由其参与者(涉及的智能体)、类型、结构和策略定义。框架具有灵活性,能够容纳先前的方法,并使在统一结构下分析各种Multi-Agent成为可能。
协作类型
在LLM基础的Multi-Agent系统中,通常需要超越单一协作类型(如竞争或合作)的复杂互动。不同的智能体可能参与不同的协作渠道,每个渠道都有不同的互动类型,共同实现整体系统目标。
- 合作
合作发生在智能体将个人目标与集体目标对齐,共同实现互利结果时。这种类型的协作对于需要协作解决问题、集体决策和互补技能集的任务至关重要。例如,在AgentVerse中,智能体在合作框架内扮演不同角色,如招聘、决策或评估,通过利用每个智能体的独特专业知识提高系统效率。合作的优势包括能够分配子任务给具有特定优势的智能体,简单的设计和执行,以及对清晰目标的依赖。然而,合作也面临挑战,如目标不一致可能导致效率低下,一个智能体的失败可能被放大,以及在动态环境中协调行动的困难。
- 竞争
竞争发生在存在冲突目标或有限资源场景时,智能体优先考虑个人目标,可能与其他智能体的目标相冲突。在LLM基础的MASs中,竞争动态可能出现在辩论或战略游戏等任务中,智能体寻求最大化自己的成功标准。竞争可以推动智能体发展高级推理和更具创造性的解决问题能力,并通过测试每个智能体的能力极限来增强系统的适应性。然而,竞争也可能引入挑战,包括需要机制来确保竞争保持建设性和有益于整体系统目标,以及在需要合作的设置中过度竞争可能阻碍对齐。
- 竞争合作(Coopetition)
竞争合作是合作和竞争的战略性结合,使智能体能够在某些任务上合作实现共享目标,同时在其他任务上竞争。这种类型的协作在最近的研究中得到了探索,例如在模拟谈判场景中,具有不同甚至有时冲突利益的智能体进行权衡以达成互利协议。
协作策略
一般来说,Multi-Agens中有三种合作策略:基于规则的、基于角色的和基于模型的。
- 基于规则的协议
智能体之间的互动严格由预定义的规则控制,确保智能体根据系统范围的约束协调行动。这些协议强制执行结构化的协作渠道设置,智能体基于特定规则集行动,而不是基于概率或角色特定的输入。例如,一些研究应用基于规则的社会心理学启发式协议,智能体模仿人类的协作动态,如辩论和多数规则,实现高效的协作而不偏离预定义的路径。
- 基于角色的协议
基于角色的协议在MASs中利用不同的预定义角色或工作分工,每个智能体根据其领域知识操作分段目标,支持系统的总体目标。例如,AgentVerse模型通过为每个智能体分配特定责任,模拟人类协作,通过角色遵守加强一致性。这种方法通过分类每个智能体的角色,使它们能够积极主动地工作,避免重叠。
- 基于模型的协议
基于模型的协议为决策提供灵活性,特别是在输入感知的不确定性可能影响智能体行动的环境中。在这种结构中,概率性质的决策支持每个智能体根据输入分析、当前环境数据和共享协作目标来预期可能的结果。例如,一些研究探索了如何通过Theory of Mind(ToM)推理使智能体做出决策,考虑其同伴可能的心理状态,即使在智能体面临不同目标时也能改善任务对齐。
通信结构
多智能体协作的通信结构总体上可以分为四类:集中式拓扑、分散式和分布式拓扑、层次式拓扑。
- 集中式结构
集中式结构(也称为星形结构)是每个智能体都连接到一个中央智能体的实现方式。在这种结构中,协作渠道设置为参与-服务性质的集中通信渠道。服务智能体作为中心枢纽,通过它所有其他智能体进行通信,因此,它的目标是管理、控制和协调系统内参与者之间的互动或协作。
- 分散式和分布式结构
分散式MAS与集中式系统不同,它将控制和决策分布在智能体之间。每个智能体根据本地信息和可能与有限的其他智能体的通信进行操作,需要复杂的算法进行互动和决策。这种结构通常用于机器人技术、网络系统和分布式人工智能等领域。
- 层次式结构
层次式通信结构是分层的,每个层次的智能体具有不同的功能,并主要在它们自己的层次内或与相邻层次的智能体进行交互。
协调和协作
协调和协作在LLM基础的多智能体协作系统中超越了个体协作渠道的功能,关注多个渠道之间的关系和互动。这些机制定义了协作渠道是如何创建、排序和特征化的,形成了多智能体互动的骨干。根据设计,协调和协作可以分为静态或动态,每种都有其独特的优势。
- 静态架构
静态架构依赖于领域知识和预定义规则来建立协作渠道。这些方法确保互动与特定领域要求一致,利用先验知识优化系统性能。例如,通道的顺序连接是静态协调中常用的策略。
- 动态架构
动态协调和协作架构旨在适应变化/发展的环境和任务要求。这些架构依赖于管理智能体或自适应机制来实时分配角色和定义协作渠道。例如,Solo Performance Prompting(SPP)方法动态识别相关角色,并生成具有定制系统提示的LLM智能体,允许它们共同构思和提炼解决方案。
不同领域中不同Multi-Agent的应用总结
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。