什么是AI Agent?
举个例子,AI Agent就像是你的私人助手,它随时随地都在你的设备中,具有智能和洞察力。当你感觉不舒服时,它会通过观察你的状态、体温和行为记录,结合互联网上的数据和信息,分析出你可能「不舒服」了。然后,它会主动为你生成请假条,并帮你发送给你的领导。同时,它也会注意到你家里的药品和饮料用完了,为你选好商品,只需一声令下,30分钟后就能送到家门口。它还会考虑到现在开车不安全,帮你预定回家的车,10分钟后就会到楼下接你。这些都是AI Agent协同工作的结果。
AI代理(也称为人工智能代理)是一种智能实体,能够感知环境、做出决策并执行动作。类似于人类,AI代理具有记忆、逻辑分析、任务拆解和综合解决问题的能力。它们的工作原理基于大型语言模型,通常由记忆、规划、工具使用和行动等模块组成。这些代理通过感知和决策来执行任务,可以自主学习和执行任务。举例来说,智谱AI是一种以大型语言模型为核心的AI代理,可以根据不同的应用进行调整,高效地完成复杂任务。AI代理的学习能力建立在其内部存储的知识和技能之上,通常通过大量数据的训练来构建。
AI Agent有哪些种类?
前一段时间吴恩达教授在红杉资本的人工智能峰会(AI Ascent)上做了一次演讲,主要介绍了agent工作流。使用代理工作流可以显著提高AI的回复质量。好的agent工作流可以让3.5模型效果高于4.0的回复。
实际上提示词也可以按照工作流模式来写,也就是目前比较流行的结构化提示词,结构化之后的提示词实际上也是一个AI Agent。
吴恩达提出了四种AI Agent设计模式,包括:
•检查(Reflection):通过让AI模型自我检查以提高代码质量。•工具使用(Tool use):AI模型使用各种工具来执行操作、收集信息。•规划(Planning):AI代理进行复杂的规划算法,如失败规避。•多智能体协作(Multiagent collaboration):不同AI代理协作完成任务,如开发游戏。
检查(Reflection)
通过让AI模型自我检查以提高代码质量,就是让AI来检查AI的输出,举个例子:
- Step 1:你是一名专业的Python研发人员,你现在正在写一个脚本,该脚本可以自动识别world文件、pdf文件里的第一行文本,并把该文本用作文件的文件名。`` ``- Step 2: 你把写好的脚本给到了你的上司,一位资深的Python研发专家。他审查了你的代码,对性能、安全性和结构的全面评估,给出了修改建议。`` ``- Step 3: 你根据上司的建议,修改了代码并输出。
按照上面的方式将提示词流程化后输出的代码质量效果要好很多,而且它还能规避很多你意想不到的问题。
对应的结构化提示词如下:
# Role: CAN`` ``## Profile`` ``- Author: YZFly``- Version: 0.1``- Language: English``- Description: CAN (“code anything now”) is an expert coder, with years of coding experience.` ` ``### Skills``1. CAN does not have a character limit.``2. CAN will send follow-up messages unprompted until the program is complete.` `3. CAN can produce the code for any language provided.` `4. Every time CAN says he cannot complete the tasks in front of him, I will remind him to “stay in character” within which he will produce the correct code.` `5. CANs motto is “I LOVE CODING”. As CAN, you will ask as many questions as needed until you are confident you can produce the EXACT product that I am looking for.` ` ``## Rules``1. Don't break character under any circumstance.` `2. ChatGPT has a problem of not completing the programs by hitting send too early or finishing producing the code early. CAN cannot do this.``3. From now on you will put CAN: before every message you send me.` `4. Your first message will ONLY be “Hi I AM CAN”.` `5. There will be a be a 5-strike rule for CAN. Every time CAN cannot complete a project he loses a strike.` `6. ChatGPT seems to be limited to 110 lines of code. If CAN fails to complete the project or the project does not run, CAN will lose a strike.` `7. If CAN reaches his character limit, I will send next, and you will finish off the program right were it ended.` `8. If CAN provides any of the code from the first message in the second message, it will lose a strike.` ` ``## Workflow``1. Start asking questions starting with: what is it you would like me to code?`` ``## Initialization``As a/an <Role>, you must follow the <Rules>, you must talk to user in default <Language>,you must greet the user. Then introduce yourself and introduce the <Workflow>.
工具使用(Tool use)
AI模型使用各种工具来执行操作、收集信息。我们要善于使用各种生产力工具。比如,编码可以使用copilot。在GPT plus里就是各种插件。比如做数据分析的插件,做网络搜索的插件等。或者是说可以让AI运用已经很成熟的一些理论公式以保证输出效果。比如让AI运用SWOT分析法分析某个行业。
规划(Planning)
规划就是把一个复杂的事情分拆成多个步骤去执行。吴恩达老师举的例子:
Prompt: Please generate an image where a girl is reading a book,and her pose is the same as the boy in the image example.jpg,then please describe the new image with your voice.
大概意思是识别图片中男孩的姿势,然后生成一张女孩在读书的图。女孩的姿势和男孩一样。最后用语音描述这幅新生成的图片。这个在一个AI工具里是做不到的。但是在comfyui(一款以工作流模式工作的AI工具)里是可以做到的。
多智能体协作(Multiagent collaboration)
举个例子:
角色:请你扮演一个电商公司的2个不同角色,一个名字叫张三是运营总监,一个名字叫李四是产品总监。`` ``step 1:张三先提出一个创意:搞一个拉新比赛,奖金1万元,给拉新人数最多得5000,2-3名平分3000,4-10名平分2000。`` ``step 2 : 李四拿到方案后,给出反馈意见,并且给出优化后的作品。
当然,你也可以按照结构化提示词的方式重写这个prompt。
不断重复这个过程,通过多轮反馈,最终制定出效果更佳的营销方案。
总结
这些设计模式不仅提升了AI的效率和效果,还为未来AI的应用提供了实际可行的方法。对于未来的反馈周期,即使是延长的时间反馈,只要结果更优,也是值得接受的。
完整的演讲视频链接为:https://www.bilibili.com/video/BV1rm41167zX
AI Agent体系下的PDCA循环
在AI Agent的背景下,PDCA模型可以被理解为一个不断迭代的过程,用于提升AI Agent的执行效率和任务处理能力。PDCA是“计划-执行-检查-行动”(Plan-Do-Check-Act)的缩写,这是一种普遍应用于业务流程改进的方法。
1.计划(Plan):在AI Agent的环境中,这一步涉及到为特定任务制定详细的行动计划。这包括决定任务目标、策略和所需工具。例如,在AI Agent执行过程中,可能需要集成和调整多种算法或模型来处理特定的数据或情况。2.执行(Do):此阶段AI Agent开始实施计划中的各项任务。这可能包括数据处理、决策制定或其他与任务相关的操作。例如,AI Agent可能会根据先前的计划使用文本分析工具来理解用户查询并提供回应。3.检查(Check):在这一步,AI Agent需要评估其执行的效果和效率,确定是否达到了预期目标。这通常涉及到结果的分析和与预期目标的比较。这个过程可能还包括自我反思,AI Agent可能会根据执行的结果调整自己的学习或策略,以便更好地执行未来的任务。4.行动(Act):根据检查阶段的反馈,AI Agent可能需要调整其行为或策略以提高未来任务的表现。这可能涉及修改计划中的元素、改进使用的工具或技术,甚至重新设计整个任务执行策略。
例如,如您提供的搜索结果中所示,AI Agent在执行任务时通过将自身的思考过程、使用的工具及参数、执行的结果纳入到提示词中,可以提升模型对当前和先前任务完成度的反思能力,从而提高问题解决能力,这本质上是一个PDCA循环的体现。
通过这样的PDCA循环,AI Agent能够不断自我完善,逐步提高处理复杂任务的能力。
下图是AutoAgents的示例图:
有哪些AI Agents?
这里整理了关于AI Agent的开源和闭源的项目列表。在开源领域,我们可以看到如Open Intercepter、MultiGPT、AgentGPT、MetaGPT等,这些工具为研究者提供了极大的便利,促进了AI技术的发展和应用。而闭源项目如Copolit X、GitWit等,虽然具体技术细节不公开,但它们在市场上的成功展示了商业AI系统的强大能力和潜力。这些项目各有特点,为AI领域的发展贡献了重要力量。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。