01.什么是大模型 Agent ?
大模型 Agent,作为一种人工智能体,是具备环境感知能力、自主理解、决策制定及执行行动能力的智能实体。简而言之,它是构建于大模型之上的计算机程序,能够模拟独立思考过程,灵活调用各类工具,逐步达成预设目标的智能存在。
Agent 是 AI 大模型应用的主要新形态,在技术架构范式也发生了很大的变化,从面向过程的架构变成了面向目标架构。
02.Agent 架构设计剖析
大模型虽作为智能体的核心“大脑”,负责思维与决策,但仅凭此并不足以胜任复杂任务的执行。为了全面实现智能体的功能,还需融入类似“神经感官系统”以感知环境,以及“肢体”以执行实际动作的元素。这正是构建 Agent 技术架构的初衷,旨在通过这一框架,将感知、思考与行动三者紧密结合,共同作用于复杂任务的完成。
如上图所示,Agent 共由4个关键部分组成:规划(Planning)、记忆(Memory)、工具(Tools)、行动(Action),下面详细剖析。
1、规划(Planning)
"规划"是智能体的思维模型。类比人类,面对任务,我们先构思解决方案,拆解为子任务,评估工具,执行中反思调整,并考量终止时机。通过大模型提示工程,比如:ReAct、CoT 推理模式,可赋予智能体类似思维模式,精准拆解复杂任务,分步解决。
2、记忆(Memory)
记忆,即信息存储与回忆。智能体模拟人类,设短期记忆存会话上下文,助多轮对话,任务毕则清;长期记忆存用户特征、业务数据,向量数据库速存速查。
3、工具(Tools)
智能体依据“工具”感知环境、执行决策。工具比如:神经感官,助其获取信息、执行任务。配备多样工具并赋权,比如:API 调用业务信息,插件扩展大模型能力,比如:ChatPDF 解析文档、Midjourey 文生图。
4、行动(Action)
智能体依规划与记忆,执行具体行动,包括与外部互动或工具调用,实现输入至输出的转化。比如:智能客服回复、查询天气预报、AI 机器人抓起物体等等。
03.大模型 Agent 案例
案例一:Agent 预定餐厅
为了更好地理解 大模型 Agent,我们一起来看个生活中的场景:假设你需要与朋友在附近吃饭,需要 Agent 帮你预订餐厅。
Agent 会先对您提出的任务进行规划如下:
第一步:获取当前位置
-
推理 1:当前知识不足以回答这个问题,需要知道当前所在位置以及附近的餐厅;
-
行动 1:使用地图工具(Tools)获取当前所在位置;
-
结果 1:得出附近餐厅列表。
第二步:确定匹配餐厅
-
推理 2:确定预订的餐厅,需要知道饮食偏好以及其他细节(比如:吃饭时间、人数);
-
行动 2:从记忆(Memory)中获取您的饮食偏好、人数、时间等信息;
-
结果 2:确定最匹配的餐厅。
第三步:预订餐厅
-
推理 3:基于结果2,评估当前所拥有的工具能否完成餐厅预订;
-
行动 3:使用相关插件工具,进行餐厅预订(Aciton);
-
结果 3:任务完成。
案例二:完成工作报表 Agent
构建【工作报告智能体】整体步骤如下:
第一步:规划(Planning):设计 Prompt 引导大模型拆解“生成工作报告”任务,细化为四步:数据收集、报告整理、汇报人选定、自动提交。
第二步:工具(Tools):针对大模型知识局限,采用 RAG 技术接入私有数据中心 API,获取客户数据;同时接入工作报告应用 API,赋予数据填充与提交权限。
第三步:记忆(Memory):分析员工历史报告,提炼风格、格式、周期、汇报人等特征,形成长记忆库,辅助新报告撰写。
第四步:行动(Action):依托工作报告应用权限,大模型完成报告后自动执行提交,实现全程自动化。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。