抓住机遇，迎接 Agent 时代的风口，设计一个合格的 Agent 框架，我们需要做哪些准备

现在几乎将自己所有的业余时间都投入到 Agent 框架上，有时候也知道自己在做一件看不清 future 的事，当然因此也会迷茫、失落甚至怀疑。这些都是源于我们对这件事的期望。有些时候做事不能想太多，想得多也就做不成事，毕竟我自己认知很浅薄。

我觉做事首先，也是最重要的就是你喜欢做，这是前提，是拿到结果必要前提，其他都是次要的。至少这是我的观点，你做事的动力又是什么呢?

为了能够自己写出一个像模像样的 Agent 框架，的确下了不少功夫，翻译论文，看其他框架的源码，不断研究和总结，大概半年的时间过去了，终于对 Agent 框架有了一个大概的构思。今天拿出来跟大家分享。

希望我的分享对于想要了解 agent 或者正在寻找 LLM 落地正确方式的人给予帮助。由于是科技文章，难免枯燥乏味，这里虽然自己也在努力提升自己的表达，但是由于自己的能力有限，还有就是个人认为对于科学和科技还是要一丝不苟，严肃认真。

LLM 局限性

• 实时性

• 真实性(幻觉)

• 工具使用: 融合外界环境信息，提升可靠信号反馈

• 反问机制: 主动询问以，通过自我反省来修复问题

• 扩展性(自主性)

• 缺乏逻辑性

今天推出 tinyChain，logo 可能是下面一个可爱的小章鱼，为什么用小章鱼做 logo 呢，首先章鱼是足够聪明的动物，而且可以做一些多线程的事，还有就是… 这个认识我的人很容易猜到。

今天不会谈过多 Agent 框架设计的细节，会在随后分享内容逐渐细化。自己知识也是不断迭代，更新，所以今天内容可能在明天就 out of date，请大家关注我，实时获取最新的关于 Agent 的内容。

tinyChain

• langChain 存在一些问题，这样便有了我的 tinyChain 空间，关于 langChain 问题下面

• tinyChain 更了解国内应用的场景

• tinyChain 是顺势而行，不带来额外的学习成本，不会引入新的概念

之前提及到 aZent，tinyChain、promptChain 都是为了他进行铺垫

langChain 的问题

• 虽然 langChain 带来许多新的概念，这些概念都是围绕如何快速地开发一个基于 LLM 的应用，但是想要消化这些概念也是带来一些学习成本

• 条条框框让简单变得反而复杂，繁琐，感觉是什么都想要

当然 langChain 作为 Agent 框架的先行者，已经做的很好，因为很多方面还是探索，并且大模型也在不断迭代，一遍探索一遍还要跟上大模型的发展的脚步。

Agent 开发流程

• 将需求进行划分若干个任务，调整这些任务，初步判断任务的合理性

• 将分解好任务用 LLM 去尝试完成一个一个任务，在看是否可以通过 LLM 实现任务同时调整出一个合适的 prompt

• 基于 langChain 和 langGraph 来实现一个 Agent 来将整个流程串起来，实现自动化

那些事是 Agent 擅长做的

• 探索性

• 繁琐的、可程序化，流程化的

• 模拟场景

• 分析

tinyChain 最佳的实践

• 编程辅助，因为大语言模型训练数据不小一部分来自于 github 所以 Agent 具有一定编程能力，或看似的逻辑能力

• 数据分析类，市场分析，商业分析和学术研究

• 生成类，生成数据集，写博客

• 多轮对话机器人，是长短期记忆的实现

• 问答类，教育等咨询、智能客服

• 翻译类

• 推荐类: 这里把推荐

• 社交聊天

Agent 框架的现况

• Agent 百花齐放, AutoGen、metaGPT、crewAi、

• 主流的基于 LLM 的 Agent 框架: langchain、llamaindex, Haystack

Agent 面临挑战

• 稳定性和可靠性问题，这个多半是源于大语言模型结构，暂时来看很难有效根治这个问题

• 如何节省成本、token 成本和时间的成本

• 如何更有效扩展 context 的容量，突破因 context 带来限制

• 也就是群体智能，记忆管理、实现高效和可扩展的群体协同(A(gent)Net)

• 应该如何低成本有效地进行迭代和进化也是值得思考的问题

• Agent 如何培养空间感，从语言理解层面脱离，可以感知空间从而成为具身智能的底座

• Agent 在解决多步问题复杂任务应该

• Agent 的能力，语言理解的能力(LLM)、如何有效使用工具的能力(Tool Usage)

• Multi Agent 协同，在 Agent 之间交互形式，如何有效地传递信息

解决方案

• Agent 应该有回溯能力

• Agent 结构化，如何通过横向和纵向的切分来划分 Agent，这里引入 layer 概念，layer 是从横向角度来切分 Agent，好那么 layer 之间划分的依据是什么，

• 希望将图这样数据结构引入到 Agent 框架，来描述 Agent 的组织形式。

• 拓扑结构: 拓扑结构，有向图

• 路径搜索能力

• 行为路由

Agent 类型

• 任务完成型

• 社会模拟型

  

  主要模块

  规划模块(planning)

• ReAct

• 规划可行性分析

• 规划路径的选择

• 规划路径优化

  路由模块(route)

• 任务的调度

• 模型的调度

• 任务和Agent间的匹配和连接(link)

• 路径搜索

  指令模块(prompt)

• prompt 是最简单最有效方式，很多方式例如对 LLM 工具调用、格式化输出以及RAG知识的注入都是通过 prompt 提供的。

• 对提示词进行结构化

  提供提示词编译辅助工具，帮助用户可以写出更好提示词

  工具模块(tool)

• 工具调用能力是很多其他模块的基础,

• 函数调用

• API 调用

• 解读 SDK

• 通过对外部应用、服务和函数等抽象，让 Agent 可以通过工具扩展自己能力，也是 memory 或者 routing 等模块的基础

  记忆模块(memory)

• 记忆汇总: 时刻对对话记忆的长度进行监控，从两个维度来监控存储记忆容量，message 的数量和 message 的容量，然后决定是否更新记忆到长期记忆，进行长期存储

• 长短期记忆，对记忆进行分层管理

• 对话记忆操作，包括对记忆读写和更新

• 记忆的更新策略

• 对于源于不同感知的数据进行融合和结构化

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】