在2023年以前,AI Agent更多是强化学习领域的概念,通过在复杂环境中获取人类反馈的奖励信息从而得以不断提升。
大模型的出现为AI Agent提供了“聪明的大脑”,并重新定义了AI Agent。 当前,由大模型驱动的AI Agent架构是比较常见的AI Agent落地架构,包含规划(Planning)、记忆(Memory)、工具(Tools)、执行(Action) 四大要素。
AI Agent能够充分发挥大模型的能力,尤其是在解决复杂问题方面,相较于传统AI应用架构将实现跃迁级提升。斯坦福大学教授吴恩达表示,“基于GPT-3.5构建的智能体工作流在应用中表现比GPT-4更好”。
当前,AI Agent已成为企业落地大模型时必选的应用范式之一。为了高效构建AI Agent,开发人员需要采用成熟的AI Agent框架。
01
AI Agent框架是什么?
AI Agent框架是一种软件平台,旨在简化AI Agent的创建、部署和管理。这些框架为开发人员提供预设组件、抽象概念和工具,简化复杂人工智能系统的开发。
通过为AI Agent开发中的常见挑战提供标准化方法,AI Agent框架使开发人员能够专注于其应用的独特方面,而不是为每个项目重新造轮子。
AI Agent框架的组成部分通常包括:
• Agent架构: 用于定义AI Agent内部组织的结构,包括其决策过程、记忆系统和交互能力;
• 环境界面: 连接Agent与其运行环境(无论是模拟环境还是真实环境)的工具;
• 任务管理: 用于定义、分配和跟踪Agent任务完成情况的系统;
• 通信协议: 实现Agent之间以及Agent与人类之间互动的方法;
• 学习机制: 实施各种机器学习算法,让Agent随着时间的推移不断提高性能;
• 集成工具: 连接Agent与外部数据源、应用程序接口和其他软件系统的实用工具;
• 监控和调试: 允许开发人员观察Agent行为、跟踪性能和发现问题的功能。
02
AI Agent框架为什么重要?
AI Agent框架在推动人工智能发展方面发挥着至关重要的作用,具体来看:
第一,加速开发。 AI Agent框架通过提供预设组件和最佳实践,大大减少了创建复杂AI Agent所需的时间和精力;
第二,标准化。 AI Agent框架促进开发人员以一致的方法应对共同的挑战,促进人工智能领域的合作和知识共享;
第三,可扩展性。 AI Agent框架旨在支持从简单的single-Agent应用到复杂的multi-Agent环境的系统开发;
第四,可访问性。 通过抽象出人工智能开发中的复杂问题,AI Agent框架使更多的开发人员和研究人员更容易获得先进的人工智能技术;
03
如何选择AI Agent框架?
无论是经验丰富的AI开发者,还是刚刚开始探索AI Agent的技术人员,了解AI Agent框架都至关重要。
当前,市面上已有多种AI Agent框架可供使用,每个框架都提供了自己独特的方法来应对AI Agent开发中的核心挑战。本文选择了主流的5种AI Agent框架**(LangChain、LangGraph、CrewAI、Semantic Kernel、AutoGen)**进行横向对比,研究每种框架的独特优势和重点方向,帮助开发人员和研究人员选择最适合其特定需求的工具。
LangChain注重集成性和灵活性,为创建基于LLM的AI Agent提供了灵活直观的方法;
通过扩展LangChain的功能,LangGraph使创建更复杂、有状态和多Agent应用成为可能;
CrewAI致力于创建基于角色的协作式人工智能系统,模仿人类团队结构来解决复杂的挑战;
Semantic Kernel为将人工智能融入业务应用提供了强大的工具,强调应用和安全性;
AutoGen提供了一个适应性强的框架,可用于构建具有强大对话和任务完成能力的复杂Multi-Agent系统。
虽然每个框架都有自己的特点,但在功能上会有重叠,最佳选择往往取决于项目的具体需求。在实际场景,将多个框架结合起来或互补使用,将带来更强大、更灵活的解决方案。
1.LangChain
LangChain是一个功能强大、适应性强的框架,使开发由大语言模型驱动的应用程序变得更加容易,开发人员可以利用LangChain设计出具有复杂推理、任务执行以及与外部数据源和应用程序接口交互功能的强大AI Agent。
开始人员在使用LLM时会面临在冗长的对话中保留上下文、整合外部信息以及协调多步骤项目的困难。LangChain解决了这些问题。由于其模块化架构,LangChain框架很容易由各种组件组成,并可用于各种目的。
•Github:https://github.com/langchain-ai/langchain/tree/master/libs/langchain/langchain/agents
•文档:https://python.langchain.com/v0.2/docs/introduction/
LangChain的主要功能:
•复杂工作流程的链和Agent抽象;
•与多个LLM集成(OpenAI、Hugging Face等);
•内存管理和上下文处理;
•提示工程和模板支持;
•内置工具可用于网络抓取、API交互和数据库查询;
•支持语义搜索和向量存储;
•针对结构化响应的可定制输出解析器。
LangChain的优势:
•灵活设计复杂的Agent行为;
•轻松集成数据源和外部工具;
•社区活跃,更新频繁;
•大量文件和示例;
•与语言无关的设计原则;
•从原型到可投产应用的可扩展性。
LangChain的适用场景:
•对话式AI助手;
•自主任务完成系统;
•文件分析和问题解答Agent;
•代码生成和分析工具;
•个性化推荐系统;
•内容摘要和生成。
LangChain的生态系统一直在发展壮大,社区贡献的新元素、新工具和新连接器也在定期推出。因此,无论是对于希望尝试基于大模型的应用的新手,还是希望创建生产环境AI系统的资深开发人员来说,LangChain 都是一个不错的选择。
LangChain始终站在人工智能领域的最前沿,及时更新新的模型和方法。由于其架构的适应性,LangChain是面向未来的人工智能开发选择,使用LangChain开发的应用程可以轻松跟上语言模型的新发展。
2.LangGraph
LangGraph是LangChain的扩展,可以使用LLM创建有状态的多角色应用,特别适用于构建复杂的交互式AI系统,包括规划、反思和多角色协调。
•GitHub:https://github.com/langchain-ai/langgraph
•文档:https://langchain-ai.github.io/langgraph/
LangGraph的主要功能:
•有状态的交互和工作流程;
•多Agent协调与通信;
•与LangChain的组件和工具集成;
•基于图形的Agent互动表示法;
•支持循环和非循环执行流;
•内置错误处理和重试机制;
•可定制的节点和边缘实现;
•规划和反思功能。
LangGraph的优势:
•可创建更复杂、有状态的AI应用;
•与LangChain生态系统无缝集成;
•支持构建复杂的multi-Agent系统;
•提供Agent互动的可视化表示;
•允许动态、自适应的工作流程;
•促进开发自我完善的人工智能系统;
•提高人工智能决策的可追溯性和可解释性;
•实现反射型AI行为。
LangChain的适用场景:
•交互式叙事引擎;
•复杂的决策系统;
•多步骤、有状态的聊天机器人;
•协作解决问题的环境;
•模拟multi-Agent生态系统;
•自动工作流程协调;
•能够提高自身性能的自我反思型AI系统。
通过提供一个基于图谱的框架来规划和执行人工智能操作,LangGraph在LangChain的基础上进行了扩展。
由于对规划、反思的重视,LangGraph可以创建能够理解自身流程、从过去交互中学习并动态修改方法的人工智能系统。这为创造能够逐步管理复杂和动态情境并提升自身能力的人工智能提供了巨大潜力。
LangGraph的多智能体能力允许创建多个人工智能实体的系统,这些人工智能实体之间可以沟通、协作甚至竞争,这在开发复杂的战略规划系统、复杂环境模拟以及在各种应用中实现更适应性和现实性的人工智能行为方面具有重要价值。
3.CrewAI
CrewAI是一个用于协调角色扮演型AI Agent的框架,允许开发人员创建由AI Agent组成的“Crew”,每个Agent都有特定的角色和职责,共同完成复杂的任务。该框架尤其适用于构建协作式人工智能系统,以解决需要不同专业知识和协调工作的问题。
•GitHub:https://github.com/crewAIInc/crewAI
•文档:https://docs.crewai.com/
CrewAI的主要功能:
•基于角色的Agent架构;
•动态任务规划和授权;
•复杂的Agent间通信协议;
•等级森严的团队结构;
•自适应任务执行机制;
•冲突解决系统;
•性能监测和优化工具;
•可扩展的Agent功能;
•情景模拟引擎;
•集成应用程序接口,增强Agent功能。
CrewAI的优势:
•通过角色专业化促进复杂任务的完成;
•可根据不同团队规模和任务复杂程度进行扩展;
•促进模块化和可重复使用的Agent设计;
•通过Agent协作实现突发问题的解决;
•通过集体智慧加强决策;
•创建更逼真的人类团队动态模拟;
•允许随着时间的推移进行适应性学习和改进;
•根据任务优先级优化资源分配;
•通过可追溯的决策过程提供可解释的人工智能;
•支持可定制的Agent行为道德框架。
CrewAI的适用场景:
•高级项目管理模拟;
•协作式创意写作系统;
•在城市规划或减缓气候变化等领域解决复杂问题;
•业务战略制定和市场分析;
•跨学科的科研协助;
•应急响应规划和优化;
•金融市场分析和预测;
•供应链优化;
•环境影响评估。
CrewAI引入了一种基于角色的架构,模仿人类的组织结构,扩展了多Agent系统的理念。因此,人工智能团队能够解决现实世界中需要各种技能和良好协调的挑战性问题。
通过强调自适应执行、Agent间通信和动态工作分配,CrewAI框架有助于创建能够管理不断变化的设置并随时间推移提高整体性能的人工智能系统。这对模拟复杂的类人决策和协作过程尤为有效。
CrewAI为开发人工智能系统开辟了新的途径,使其能够有效地探索复杂的社会和组织现象并建立模型。这对于制作更逼真的模拟环境、在困难的决策环境中训练人工智能以及开发先进的人工智能系统都非常有帮助。
4. Semantic Kernel
Semantic Kernel旨在缩小传统软件开发与人工智能之间的差距,尤其侧重于将大语言模型集成到现有应用中。该框架为开发人员提供了各种工具,使开发人员能够在不彻底改造现有代码库的情况下集成人工智能功能。
SDK的轻量级特性和对多种编程语言的支持使Semantic Kernel能够高度适应各种开发环境。Semantic Kernel的协调器可以管理复杂的多步骤人工智能任务,使开发人员能够在其应用程序中创建复杂的人工智能驱动工作流。
•GitHub:https://github.com/microsoft/semantic-kernel
•文档:https://learn.microsoft.com/en-us/semantic-kernel/
Semantic Kernel的主要功能:
•将人工智能功能无缝集成到应用中;
•支持多种语言(C#、Python、Java等);
•用于管理复杂任务的协调器;
•内存管理和嵌入;
•灵活的人工智能模型选择和组合;
•强大的安全和合规功能;
•用于轻量级集成的SDK。
Semantic Kernel的优势:
•企业级应用支持;
•灵活选择和组合人工智能模型;
•强大的安全和合规能力;
•与现有代码库无缝集成;
•简化人工智能开发流程;
•可针对各种应用规模进行扩展;
•支持快速原型开发和部署;
•利用人工智能功能增强现有应用;
•允许传统系统逐步采用人工智能;
•促进代码的可重用性和可维护性。
Semantic Kernel的适用场景:
•企业级对话机器人和虚拟助理;
•智能流程自动化;
•人工智能增强型生产力工具;
•应用的自然语言界面;
•个性化内容推荐系统;
•语义搜索和信息检索;
•自动化客户支持系统;
•智能文件处理;
•人工智能驱动的决策支持系统;
•语言翻译和本地化服务;
•情感分析和意见挖掘;
•智能调度和资源分配;
•工业环境中的预测性维护;
•人工智能增强型数据分析平台;
•个性化学习和辅导系统。
通过提供强大的安全性和合规性功能,Semantic Kernel 解决了企业级应用的关键问题,使其适合部署在敏感或受监管的环境中。该框架在人工智能模型选择方面的灵活性使开发人员能够选择和组合不同的模型,针对特定用例优化性能和成本效益。
Semantic Kernel强调无缝集成,并支持逐步采用人工智能,这对于希望利用人工智能功能来增强现有软件生态系统的企业来说尤为重要。这种方法允许逐步实施人工智能功能,降低了与大规模人工智能转型相关的风险和复杂性。
5.AutoGen
AutoGen是一个开源框架,旨在构建高级AI Agent和multi-Agent系统。AutoGen由微软研究院开发,为创建会话和完成任务的AI应用提供了一个灵活而强大的工具包,强调模块化、可扩展性和易用性,使开发人员能够高效地构建复杂的人工智能系统。
•GitHub:https://github.com/microsoft/autogen
•文档:https://microsoft.github.io/autogen/docs/Getting-Started/
AutoGen的主要功能:
•Multi-Agent对话框架;
•支持大语言模型和传 API;
•可定制的Agent角色和行为;
•增强对话记忆和上下文管理;
•内置错误处理和任务恢复机制;
•与外部工具和服务集成;
•灵活的对话流程控制;
•支持人机互动;
•适用于定制Agent实施的可扩展架构;
•全面的文档和示例。
AutoGen的优势:
•简化复杂Multi-Agent系统的开发;
•可为不同任务创建专门的Agent;
•促进不同人工智能模型和服务的无缝集成;
•提高人工智能对话的稳健性和可靠性;
•支持自主运行和人工监督;
•通过预置组件缩短开发时间;
•实现快速原型设计和实验;
•为高级人工智能应用奠定基础;
•鼓励社区驱动的发展和创新;
•提供从简单到复杂Agent系统扩展的灵活性。
AutoGen的适用场景:
•高级AI对话系统;
•自动编码助手和软件开发工具;
•复杂的问题解决和决策系统;
•自动化客户支持和服务Agent;
•创意写作和内容生成系统;
•数据分析和可视化助理;
•任务规划和执行Agent;
•协作式头脑风暴和构思工具。
AutoGen为创建Agent提供了一个标准化、模块化的框架,这是AI Agent开发的重要一步。这种方法利用预设部件和成熟的设计模式,大大降低了创建复杂人工智能系统的门槛。
AutoGen通过强调适应性和互操作性,促进了AI Agent的快速开发和迭代。AutoGen能够处理多种人工智能模型并提供标准化接口,因此可以创建非常灵活的Agent,使其能够在各种环境和工作中发挥作用。
AutoGen的一个重要特色是其多Agent通信结构。因此,开发人员可以设计由多个专业Agent共同协作解决复杂问题或执行高难度工作的系统。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/0dc35641cd2d85e39db6e8cb368fa5cb.png)