吴恩达:
我很期待与大家分享我在 AI 智能体中看到的令人兴奋的趋势,我认为每个 AI 从业者都应该关注这个趋势。
我要分享的主题是 AI 智能体。 现在,我们大多数人使用大语言模型的方式是这样的:我们在一个非智能体工作流中,把提示输入到对话框中并生成答案。这有点像我们让一个人写一篇文章,让他请坐到键盘前,从头到尾打出一篇文章,中间不使用退格键。尽管这很难,AI 大模型还是做得非常好。
智能体工作流长这个样子(下图右侧)。有一个 AI 大模型,我们让它写一份论文大纲。需要上网查资料吗?如果需要,就联网。然后写初稿、读初稿,并思考哪些部分需要修改。继续修改初稿并推进。
这样的工作流程更容易迭代。 你可以让 AI 大模型进行一些思考,然后修改这篇文章,然后继续思考,再按照这个步骤迭代多次。
很多人都没有意识到的是,这么做的效果会更好。 对于这样的工作决策流程和优秀表现,我自己也很惊讶。除了这些个案研究,我的团队也分析了一些数据,基于 OpenAI 几年前发布的名为 HumanEval 的编程评估基准。这上面有一些编程问题,比如给定一个非空整数列表,返回位于偶数位置的所有奇数元素的和。AI 生成的答案是像这样的代码片段:
事实证明,如果你使用 GPT-3.5,在零样本提示的条件下,GPT-3.5 的准确率是 48%。GPT-4 要好得多,达到了 67%。但如果你采用的是智能体工作流,并将其打包,GPT-3.5 实际上能表现更好,甚至比 GPT-4 还好。
如果你围绕 GPT-4 构建这样的工作流,GPT-4 也能表现得很好。注意,处于智能体工作流中的 GPT-3.5 实际上优于 GPT-4。 这是一个信号。
所有人都在围绕智能体这个术语和任务开始大量讨论。有很多咨询报告,关于智能体、AI 的未来,等等。接下来,我想具体分享我在智能体中看到的四种模式:
反思(Reflection): LLM 检查自己的工作,以提出改进方法。
使用工具 (Tool use): LLM 拥有网络搜索、代码执行或任何其他功能来帮助其收集信息、采取行动或处理数据。
规划(Planning): LLM 提出并执行一个多步骤计划来实现目标。
多智能体协作(Multi-agent collaboration): 多个 AI 智能体一起工作,分配任务并讨论和辩论想法,提出比单个智能体更好的解决方案。
接下来我将详细解释这四种模式。
首先是 Reflection。 举个例子:假设我让一个代码智能体为某个任务写代码,它会根据 prompt 写出一个如图所示的函数。
如果你写一段 prompt,把你刚刚生成的代码给它,告诉它这是用于执行某个任务的代码,让它检查这段代码的正确性、效率等问题。结果根据你的 prompt 写出代码的那个大模型,可能会发现代码里的问题,比如第五行的 bug。它还会告诉你怎么修改。
如果你现在采纳了它的反馈,并再次给它提示,它可能会给出一个比第一个版本更好的第二版代码。不能保证一定如此,但这是有效的。
第二种模式是 Tool use(使用工具)。 许多人可能已经见过基于大模型的系统使用工具。左边是一个截图,来自 Copilot。右边的截图来自 GPT-4。左边的问题是,网上最好的咖啡机是哪个?Copilot 会通过上网检索来解决一些问题。GPT-4 将会生成代码并运行代码。有很多不同的工具,可以用于分析、收集信息以采取行动、提高个人生产力。
很多关于 Tool use 的工作都是在计算机视觉社区。因为之前,大型语言模型对图像无能为力,所以唯一的选择就是大模型生成一个函数调用,可以用来操作图像,比如生成图像或目标检测。Tool use 扩展了大型语言模型的能力。
接下来是 Planning(规划)。 对于没有大量接触过规划算法的人来说,他们会觉得,「哇,从未见过这样的东西」。同样,很多人看到 AI 智能体会很惊讶,「哇,我没想到 AI 智能体能做这些」。
在我进行的一些现场演示中,有些演示会失败,AI 智能体会重新规划路径。我经历过很多这样的时刻。其中一个例子是从 HuggingGPT 论文中改编的,输入的是:请生成一张图片,一个女孩在看书,她的姿态和图像中的男孩一样,再使用你的声音描述这张新图片。
今天有了 AI 智能体,你可以确定第一件要做的事是确定男孩的姿态,提取姿态。接下来需要找到一个姿态图像模型,遵循指令生成一张女孩的图像。然后使用图像 - 文本模型得到描述。最后使用文本转语音模型读出描述。
我们今天已经有了 AI 智能体和智能体循环。当我并不想花很多时间在谷歌搜索上,我就会把需求发给 AI 智能体,几分钟后回来看看它做了什么。它有时有效,有时不行。但这已经是我个人工作流的一部分。
最后要讲的模式是多智能体协作。 这部分很有趣,效果比你想象的要好得多。
下面这张图来自一篇名为 ChatDev 的论文。ChatDev 是多智能体系统的一个实例。你可以给它一个 prompt,它有时扮演软件引擎公司的 CEO,有时扮演设计师,有时又是产品经理、或测试人员。
这群智能体是通过大模型的 prompt 来构建的,告诉它们「你现在是 CEO / 你现在是软件工程师」。他们会协作、进一步对话。如果你告诉它们,「请开发一款游戏」,它们会花几分钟写代码,然后进行测试、迭代,生成一个令人惊讶的复杂程序,虽然并不是总能运行。
事实证明,多智能体辩论(比如说,你可以让 ChatGPT 和谷歌的 Gemini 辩论),实际上会带来更好的性能。 因此,让多个相似的 AI 智能体一起工作,也是一个强大的模式。
总结一下,我认为如果我们在我们的工作中使用这些模式,很多人可以快速获得实践上的提升。我预计,今年 AI 能做的事情将大幅扩展,这得益于智能体工作流。
人们在输入提示之后,总想立即得到结果。在进行网络搜索时,你想在半秒钟内得到回复。这是人性使然 —— 我们喜欢即时获取、即时反馈。
但是对于很多 AI 智能体工作流来说,我们需要学会分配任务给 AI 智能体,并耐心地等待几分钟,甚至几小时,直到给出回应。
我见过很多新晋管理者,喜欢将某事委托给某人,五分钟后检查结果。这不是一种有效的工作方式。我们也需要对我们的 AI 智能体多点耐心。
另一件重要的事情是,快速的 token 生成非常重要。 如果 AI 生成 token 的速度比任何人的阅读速度都快,那太棒了。我认为,快速生成更多 token,即使大模型质量稍低,也能带来很好的结果。因为它可能让你在这个循环中反复更多次。
坦率地说,我非常期待 Claude 4、GPT-5 和 Gemini 2.0,以及其他正在研发的大模型。如果你期待以零样本的方式在 GPT-5 上运行你的任务,你可能能通过一些 AI 智能体应用,实现接近那一水平的性能。
智能体推理加上之前发布的大模型,我认为这是一个重要的趋势。通往 AGI 的道路感觉更像是一段旅程,而不是目的地。我认为这套智能体工作流,可以帮助我们在这漫长的旅程中向前迈出一小步。
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费
】🆓
👉AI大模型学习路线汇总👈
大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费
】🆓