吴恩达教授深入分析：AI agent工作流多步迭代的模式

bagell

于 2024-10-08 11:47:04 发布

阅读量432

点赞数 6

文章标签：人工智能语言模型深度学习产品经理自然语言处理

本文链接：https://blog.csdn.net/bagell/article/details/142755872

版权

吴恩达教授，斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任。是人工智能和机器学习领域国际上最权威的学者之一。DeepLearning.AI创始人，并开创性地提出了深度学习概念。本文是整理吴恩达教授在红杉资本的人工智能峰会(AI Ascent)上发表演讲的内容。他提到了AI agent工作流多步迭代的模式与基于人工评估基准测试的效果分析，对于AI agent设计模式的四种分类，包括检查、工具使用、规划、多智能体协作。

AI agent工作流的模式与效果

在当前的技术实践中，大型语言模型的应用通常遵循一种非代理式工作流程。这种工作方式可以类比为要求一个人在没有任何修改机会的情况下，一次性完成整篇文章的撰写。这就好比是在写作时不允许使用退格键，尽管这样的限制看似严苛，但大型语言模型在这种模式下的表现却出人意料地优异。然而，如果我们采用代理式工作流程，那么工作方式将会有显著的不同：我们首先让人工智能生成文章的大纲，然后根据需要进行网络搜索，接着撰写初稿，之后对初稿进行审阅和反思，找出需要改进的地方，并进行相应的修改。通过这样的迭代过程，我们可以逐步提升文章的质量。

吴教授的研究团队对一个名为"人工评估基准测试"的编码基准数据集进行了深入分析。该数据集包含了各种编码问题，例如“给定一个非空整数列表，求其中所有偶数位置元素的和”。传统的方法是直接使用零样本提示，即让人工智能独立编写并运行代码，但这并不是人类程序员的实际编码方式。研究显示，在使用零样本提示的情况下，GPT-3.5的正确率仅为48%，而GPT-4则提升到了67%。然而，当在GPT-3.5上应用代理工作流程时，其表现竟然超过了GPT-4。同样地，GPT-4在采用代理工作流程后，也展现出了卓越的性能。这一发现强调了代理工作流程在构建高效应用程序中的关键作用。通过这种方式，我们不仅能够提升模型的性能，还能够更接近人类程序员的工作习惯，从而开发出更加智能和实用的应用程序。

AI agent四种设计模式

1.反思（reflection）

在软件开发的过程中，“反思”（reflection）是一个至关重要的环节，它是一种值得每个人采用的工具，因为它的效果非常显著。具体来说，我们可以将之前由语言模型生成的代码再次输入给同一个模型，并要求它进行深入的检查。我们可以这样提示模型：“请仔细审查这段代码，评估其正确性、效率和结构，并提供你的专业评论。”这样的自我检查过程，即使是由同一个生成代码的模型来执行，也可能揭示出潜在的漏洞，并提出宝贵的改进建议。在接收到模型的反馈之后，我们可以进一步与它互动，通过连续的迭代提示，引导模型生成更加优化的代码版本。进一步地，我们可以将这种单一的编码代理的概念扩展为一个包含两个代理的系统：一个负责编码，另一个负责评审。这两个代理可以基于同一个大型语言模型，但是通过不同的提示来激活它们各自的专业角色。对于编码代理，我们可以说：“你是一个专业的编码者，请编写代码。”而对于评审代理，我们则提示：“你是一个专业的代码评审员，请评审这段代码。”

这种工作流程不仅易于实现，而且吴教授认为它是一种强大的通用技术，能够显著提升大型语言模型在各种工作流程中的性能。通过这种方式，我们可以模拟真实的软件开发环境，其中开发者和评审员协同工作，共同推动代码质量的提升。这种方法不仅能够提高代码的质量和效率，还能够让我们更好地理解和利用大型语言模型的潜力。

2.工具使用（Tool use）

第二个关键的设计模式是“工具使用”。在现在的语言模型中，我们已经看到了它们如何能够执行一系列复杂的任务，比如搜索网页、生成和运行代码等。这些模型通过集成各种工具，不仅能够分析和收集信息，还能够执行具体的操作，极大地提升了工作效率和生产效率。

如果我们深入研究相关文献，我们会发现在视觉领域的早期研究中，工具使用的概念尤为突出。这是因为在GPT-4和Llama等先进的大型语言模型问世之前，大型语言模型对于图像的处理能力是非常有限的。在那个时期，语言模型无法直接理解或处理图像，因此，研究者们开发了一种创新的方法，即让语言模型生成能够操作图像的函数。这可能包括生成图像的代码、执行目标检测任务的代码等。通过这种方式，我们实际上是在扩展语言模型的能力，让它们能够通过生成的工具来间接地处理和分析图像数据。

这种工具使用的设计模式，不仅在视觉领域中发挥了重要作用，而且也为其他领域的研究和应用提供了新的可能性。通过这种方式，我们可以将语言模型的能力与各种外部工具结合起来，创造出更加强大、更加灵活的人工智能系统。这种方法不仅推动了人工智能技术的发展，也为我们提供了新的视角，让我们能够更好地理解和利用大型语言模型的潜力。

3.规划（Planning）

第三点，也是极其关键的一点，是“规划”。对于那些尚未涉足规划算法的人来说，当他们首次接触到像ChatGPT这样的人工智能系统时，往往会被其展现出的惊人能力所震撼。在我们的实验演示中，我们观察到即使在面临失败的情况下，人工智能代理也能够自主地规避问题并继续执行任务。

举个例子，从一篇学术研究中，我们可以看到这样一个场景：如果你向人工智能代理提供一张男孩的图像，并要求它根据这张图像生成一张女孩的新图像。现代的人工智能代理能够明确自己的第一步是识别并复制男孩的姿势，它可能会在Hugging Face等平台上寻找适合的模型来提取这一姿势。随后，它可能会利用另一个姿势图像模型来合成女孩的图像，接着通过图像到文本的模型进行进一步的处理，最终通过语音合成技术完成整个任务。

虽然我不想过分夸大这些系统的能力，因为它们有时候仍然存在不稳定的因素，但无可否认的是，当它们正常工作时，所展现出的效果确实令人印象深刻。更进一步，通过使用代理循环的工作方式，我们有时甚至能够从早期的失败中恢复过来。因此，在一些研究工作中，我们已经开始尝试使用研究代理来协助我们。例如，当我们不愿意花费大量时间在谷歌上进行搜索时，我们可以将这一任务委托给研究代理，过一段时间后再回来查看它找到了哪些信息。虽然它的成功率并非百分之百，但它已经成为我个人工作流程中不可或缺的一部分。通过这种方式，我们不仅能够提高研究效率，还能够更深入地探索人工智能的潜力和可能性。

4.多智能体协作（Multiagent collaboration）

第四个设计模式是“多智能体协作”。以开源项目ChatDev为例，我们可以指导一个语言模型扮演多个不同的角色，例如公司的首席执行官、设计师、产品经理或者测试员。这些角色，或者说“代理”，通过相互之间的协作，共同致力于开发游戏等复杂的程序。虽然这样的协作并不总是能够取得成功，但在某些情况下，所取得的成果确实令人瞩目。此外，通过让不同的人工智能代理进行辩论，我们发现这也是一种有效的方法，能够进一步提升它们的表现。

综上所述，吴教授认为，采用这些代理推理的设计模式，将显著提升我们的工作效率。通过代理工作流程，人工智能能够胜任的任务类型预计将在今年大幅扩展。在代理工作流程中，我们需要学会耐心等待几分钟甚至几个小时，以获取结果。这就像我们在交代任务给人时，也需要适当地等待一段时间，然后再进行检查。此外，快速生成token的能力也至关重要，因为这些迭代式的工作流程要求语言模型能够迅速生成token，以便进行自我阅读和理解。实际上，即使使用质量稍逊但速度更快的语言模型，通过更多轮次的迭代，我们也有可能获得比使用更高质量但速度较慢的模型更好的结果。

总的来说，实现人工通用智能的道路犹如一场漫长的旅程，而代理工作流程有望成为我们通往这一目标的重要一步。通过这些创新的设计模式和工作流程，我们不仅能够提升工作效率，还能够在人工智能的发展道路上迈出坚实的步伐。