大模型Agent的核心还是prompt？

先说结论，大模型Agent的核心不仅仅是prompt，但prompt确实是目前实现Agent的重要手段之一。要理解这一点，我们先得澄清什么是AI Agent。

作为一个智能体，AI Agent应当具备理解周围环境、做出决策和采取行动的能力。与传统AI依赖用户输入的Prompt与大模型交互不同，AI Agent融合了规划、记忆和工具使用等关键功能，在操作时不需要逐步的提示，我们只需设定一个目标，它就能够自主地进行思考和利用各种工具来分步实现。听起来很强大是不是，那么目前AI Agent的发展状况到底如何？有哪些技术挑战？它又将为未来带来哪些新的可能性？我们一起来看一看。

AI Agent的核心要素

目前业界普遍认为，AI Agent技术包括四大核心部分：

1. 角色定义模块。Agent在此阶段需要和人类一样，对任务执行中的背景资料和具体要求保持关注，这一环节实质上是构建角色定位的数据集合。

2. 记忆模块。其功能是信息的存储与检索，分为短期记忆和长期记忆两种形式。短期记忆基本上等同于模型处理的即时上下文，长期记忆则通常来源于外部存储如向量数据库。

3. 规划模块。它仿照人类处理问题时将复杂问题拆分为多个小问题并逐一击破的策略，将复杂任务细化为更易于管理和解决的小任务或小目标。

4. 执行模块。它关乎AI Agent与其所处环境的直接互动。这可能涉及到使用应用程序接口、激活其他功能模块或实施具体操作，具体执行方式将依据任务的具体需求而定。简单来说，AI Agent要学会使用工具。

以上模块中都要用到Prompt。好的Prompt在引导和优化大模型输出方面有着积极的作用，例如，一个清晰明确的Prompt可以显著提升大模型回答的效果，而结构化Prompt则通过提供模板指令和格式要求，帮助AI更准确地捕捉用户的意图。字节跳动推出的“扣子”平台，就是在上述技术的基础上构建Agent的。

当前面临的挑战

本质上，AI Agent还是依赖于底层的大模型，所以大模型存在的问题也是AI Agent要面对的。比如“幻觉”、“过拟合”，容易受到对抗性攻击和恶意输入的影响等等。抛开这些不谈，前面提到AI Agent包含了角色定义、记忆、规划和执行模块，此刻它们也都面临挑战。

在角色定义方面，我们需要关注的是输入。尽管大模型在文本生成方面表现出色，但在处理多模态数据（如图像、视频等）时仍存在不足。未来的Agent需要处理多模态输入，而不仅仅是文本，这就要求Agent具备更强大的多模态理解和生成能力。

在记忆方面，Agent经常需要处理长序列输入和输出，如何优化上下文长度和结构以提高模型的性能和效率是一个重要挑战。而在Agent与大模型交互时，怎样保持任务的上下文连贯性也是一个问题。

在规划方面，当前的Agent系统严重依赖于大模型对复杂任务的拆解和工具选择的能力。大模型要能够理解任务、进行任务拆解，并正确调用工具来执行任务。这不仅仅是语言能力的问题，可能还需要针对性地提升模型在任务拆解方面的能力。

在执行方面，目前的Agent主要解决特定场景的问题，如智能机器人、问答式交互、文档智能分类等，缺乏普适性的应用。而且大多数Agent仍处于“玩具”阶段，在工业、商业等实用化的复杂决策场景中的表现仍然不足。这是因为Agent需要有效的反馈机制来理解环境并调整行为，但目前这一点还没有很好的解决。在复杂工具使用场景中，仅仅依靠prompt难以达到足够高的成功率。Agent系统需要能够学习和适应如何调用不同的工具来完成任务，这涉及到工具调用学习的问题，目前即使是GPT-4，在工具使用方面的正确率也只有60.8%，专门针对工具使用进行微调的模型表现更差。

为了应对这些挑战，研究者们正在探索各种方法，包括改进Agent架构、开发更好的训练方法、提升模型的工具使用能力等。例如，为了帮助Agent更好地理解和适应不同环境，一种可能的解决方案是创建专门用于理解和适配环境的小模型，作为大模型的"小脑"。

评估AI Agent的方法

我们了解了AI Agent的现状，可怎样知道它是否在进步呢？如果要比较两个AI Agent，有没有一些可行的方法呢？答案是肯定的。尽管AI Agent是很新的技术，我们至少可以从主观和客观两个视角去评价它。业界一般采纳以下几种方法，每种方法都有其特定的优势和适用情况，综合这些方法可以更全面地掌握AI Agent的表现。当缺乏数据和人为标注时，我们不得不依赖个人的专业判断。这涉及到让领域专家对AI的答复进行打分，或者通过图灵测试来评估AI的回答与人类回答的区别。这类评价方式因为需要人工参与，成本较高，主要在早期阶段使用。而在数据充足的情况下，我们可以根据端到端的任务完成情况来评价AI Agent的效能。例如，在文档理解领域，可以考察OCR的识别精度等关键性能指标。这种方法关注于任务完成的具体情况，突出AI Agent在特定应用领域的表现。如果考虑更加通用的方法，我们可以使用标准数据集，例如ALFWorld、HotPotQA和HumanEval等，用于衡量AI Agent在决策制定、问题解答和编程等不同方面的表现。此方法注重AI Agent的整体表现，方便横向比较。另外，我们也可以使用跨领域的综合测试数据集，如清华大学推出的AgentBench等。这些数据集覆盖多个领域，对AI Agent进行全方位评价，增加了评价的广泛性。由于AI Agent本身是一个系统，它的表现不只取决于底层大模型，我们还需要从工程技术和系统的角度去评价它。工程技术方面，我们可以评价系统的稳定性，例如平均故障率、与基础API的交互频率等。这种方式着眼于AI Agent的技术实现，有助于评估系统的可靠性和效率。而从整个系统的角度考虑，我们可以引入性能指标，包括整体运行的效率、响应时间和成本等。这可以通过比较不同AI Agent在完成同一任务时所需的迭代和交互次数，以及总体耗时来实现。

AI Agent尽管依赖于大模型，但说到底还是一门工程技术，而任何的工程都离不开实践。怎样把提示词工程、大模型微调，包括LangChain这样的框架结合起来构建Agent应用。

未来趋势与展望

AI Agent作为AI领域的一个重要方向，正在快速发展，同时也带来了新的技术挑战。但近期多模态大模型的进步为我们提供了一个方向：假设我们拥有一个集成的多模态大模型，AI Agent在处理内部多模态任务时的难度将急剧降低，这将导致它所需的交互更少，同时错误发生的几率也会大幅降低。这种原生模型能够直接识别图像，无需额外的模型来将图像转换为文本，然后再进行解读。从经济的角度考虑，集成的多模态模型可以将管理多个模型的复杂性和成本，转化为管理单一模型的较低成本，显著减轻运营负担。

未来的Agent技术发展可能会朝着更通用、更智能、更高效的方向迈进。我们也可以期待当AI Agent作为一个群体表现出智能的时刻，那可能是我们迈向通用人工智能的重要一步。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】