当Agent开始自己创造自己，AI产品爆发还会是遥远的梦吗？

2024年，AI 领域中最炙手可热的话题无疑是Agent。

“大模型很酷，但我能用它做什么？“这是2023年的年度AI应用之问。而到了2024年，智能体（Agent）已成为这个问题最有希望的解药。

智能体能够通过复杂流程和工具使用，使大模型能处理更复杂、更定制化的任务，最终产生具有自主性、感知能力、决策能力和行动能力的软件实体或物理实体。吴恩达、Jim Fan等圈内大佬纷纷投身其中，证明智能体的有效性。

吴恩达教授今年3月在博客中提出，在 HumanEval 数据集中使用 GPT-3.5（Zero-shot）的测试正确率为 48.1%。 GPT-4（Zero-shot）为 67.0%。而通过与 Agent workflow 配合，GPT-3.5 实现了 95.1%的正确率。

（图注：吴恩达进行的实验，在智能体技术下，GPT 3.5性能远超原始的GPT4）

因此这一年来，从大公司到民间高手都在搭建智能体。大到微软的Copilit，小到无厘头的AI算命，Langchain、Coze、Dify这些搭建智能体框架的工具也雨后春笋般开枝散叶，热度持续上涨。

（图注：INSIGHT整理的智能体和AI自动化流程相关公司）

OpenAI 的前科学家Andrew Karpathy曾说，普通人、创业者和极客在构建AI 智能体方面，相比OpenAI这样的公司甚至更有优势。

一个以AI智能体工作流为依托的新产品经理时代要来了吗？不一定，因为AI可能比人类更会搭建智能体。

自动化的循环逻辑

8月19日，不列颠哥伦比亚大学的三位研究人员发表了一篇名叫《自动化设计智能体系统》的论文。在这篇论文里，他设计了一个让AI自己发现并搭建智能体，还能自己迭代的系统。

回想一下OpenAI对智能体的经典定义，智能体就是一个能够存储知识，能够进行计划，并且应用工具的产品。

而我们在用工作流构建智能体的时候，也是利用已有的知识（对智能体形式的知识），自己进行计划（搭建流程）并利用工具（接入API）最终去执行产出，并没有超越智能体自己的能力范围。

那为什么不搭建一个能自动发现和设计智能体的智能体呢？

论文作者就按照这个思路，把设计者称为元智能体，他让它去设计新的智能体。把设计好的智能体加到数据库里作为资料，不停迭代出新的、更强版本的智能体。

这整一套方法，他们称之为ADAS（Automated Design of 智能体ic Systems）。

那么，这一系统具体如何落地呢？

让链条转起来

ADAS系统中生成新智能体的过程可以被分为三个部分：

第一部分建立搜索空间，可以理解为通过一些基础工具和规则，它可以设计出潜在的新智能体。

第二部分是运行搜索算法，它规定了元智能体怎么利用搜索空间，取用其中的元素去具体搭建新的智能体。

最后一部分是运行评估函数，它会根据性能等目标对搭建出来的智能体进行评估。

研究人员在论文中分步解释了如何构建以上三个核心部分。

首先得确定建构搜索空间的基础元素，研究人员认为最好的方法是代码。

这是因为代码具有图灵完备性，能表达所有可能性。所以，理论上元智能体能够发现任何可能的构建模块（如提示、工具使用、控制流程）以及以任何方式组合这些构建模块的智能体系统。

更重要的是，Langchain这样用来构建智能体的网站中已存在的各种工作流都已被代码化。因此相关数据手到擒来，不用再转换。而工具调用，如RAG（retrieval augmented generation检索增强生成）之类的能力组件也已经有了非常充分的代码基础。

采用代码去构建搜索空间，也意味着ADAS生成的智能体可以直接运行，用来纠错、跑分，无需人工再干预。

定义好了搜索空间，研究人员就开始设计搜索算法，即让元智能体去探索可能去完成任务的方法。这一过程基本上都是依靠提示词工程完成的。

首先是先给它一系列系统提示词。

然后，把基础Prompt提到的资料给到元智能体，包括

1.任务的基本描述。

2. 最基本的框架代码，比如格式化提示、封装等操作名称，还有调用其他基础模型（FM）、API的能力。

（图注：一部分框架代码）

3.任务输入输出的格式和范例。

4.原来迭代中生成的一些智能体形成的范例库，包括其基线测试结果。

（图注：一个智能体库里的范例）

根据这些基础提示，ADAS就可以开始运作，生成一个去解决特定问题的智能体。

在这个过程中，元智能体会进行两轮反思保证生成的智能体具有新颖性和正确性。它会检查新生成的代码框架是否有错误，相对于智能体范例库里的过往结果是否有足够的创新。

元智能体还需要基于其对实用性能能力的"理解"对生成的智能体进行初步评估，判断它是不是比之前的智能体性能更好。

当这些条件中有一些不满足时，元智能体就得对生成的智能体或者修改或者干脆回炉重造。

（图注：第一轮反思的Prompt）

两轮反思和修改过后，元智能体会把觉得又新又好的新生成的智能体送给第三步的评估系统。

评估系统会根据基线测试对这个智能体的能力打一个客观分数，然后把它返回给到智能体范例库。

元智能体会再根据之前的评分结果和范例库里的过往范例，继续进行下一次迭代优化，以达到更高的任务性能分数。

一整条全自动化的链条就在这一过程中诞生了。而要生成一个效果绝佳的智能体，可能需要进行两位数以上次数的迭代。

超越手搓智能体

通过ADAS方法自动化流程得到的智能体能有多复杂？下图就是经过14次迭代后生成的一个智能体框架。

这个智能体的结构中有五个思维链给出初步答案。三个专家专家模型和一个模仿人类给出评价的模型对这些答案给出反馈后，这些答案会在优化流程阶段进行三次修改加强。最后经评估筛选出来三个结果，合并给出最终答案。

这种的复杂度的设计水平，如果是人类进行操作，估计得花一周时间。这还只是写提示词和设计架构的时间，更别提测试和横向比较了。

当然，这也是元智能体在设计中不断迭代的结果。

在迭代过程中，它生成智能体的能力也随着迭代次数快速增强。在第三次迭代的时候，元智能体就自己学会了多思维链策略，在第四次迭代的时候就学会了利用动态记忆去优化回答。到了第14次，它生成的智能体就达到了上面提到的复杂度。

最终，其最优解法的能力相较于最初的单纯大语言模型能提升超过250%，比起效果最好的手挫智能体COT-SC（多思维链回答）方法提升达到75%。

不光是ARC，ADAS模式下生成智能体在各个方面比起当前最强的所有基准手搓智能体，如COT、LLM Debate、Self-Refine都显著得更强大。而且越是处理复杂任务和跨领域应用时，ADAS生成的智能体越强。

而且这些生成的智能体本身便具有一定的迁移能力，比如能解决科学问题的智能体同样可以在数学方面取得很好的成绩。因此，一个最优框架很可能可以解决很多领域的相关问题。

虽然手搓智能体的时代即将结束了，但智能体范式的发现时代也许还将持续。在整体的测试中，ADAS并没有发现当下智能体建构范式以外的新的建构方法，更多的是重组和使用这些方法。

然而，对于一般的AI Agent开发者而言，这已经足够替代他们的工作了。

不过ADAS的流行可能还需要迈过一个坎，那就是成本问题。

据研究人员透露，在 ARC 上进行一次搜索和评估的OpenAI API成本约为 500 美元，而在推理和问题解决领域内的一次运行成本大约为 300 美元。也就是每次迭代大概需要20美元。对比如此高昂的成本，现阶段人力仍然有一定优势。

但研究人员也表示，因为研究得早，他们用的是“gpt-3.5-turbo-0125”模型。而最新的 GPT-4 模型“gpt-4o-mini”价格只有不到“gpt-3.5-turbo-0125”的三分之一，且性能更佳。而且从实验看，以GPT 3.5能力迭代出来的智能体在一定数量的迭代后就进入性能瓶颈了，十四次后的迭代都是浪费。因此，拥有更好评估和资源管理的设计，也能大幅降低成本。

显然，人力的价格优势也维持不了多久了。

智能体的爆发，是否已真正拉开序幕

这一自动化的技术为何如此重要？

在移动互联网时代，面向各种赛道的各种App百花齐放，共同堆叠出了科技繁荣时代。但因为当时的新工具需要学习，移动App的开发也经历了较长的渗透阶段，最终才容纳进了足够的开发者。

在更早的时代，这个速度更慢。按照Geoffrey Moore在90年根据个人电脑的经验提出的"跨越鸿沟"理论，在技术出现初期几年，只有大概13.5%的erarly adopter会用到这一技术，这还不是开发，而是使用。

所以开发者的短缺，可能是技术推广的一个重要瓶颈。

当然，智能体搭建的开发渗透速度可能要快很多。因为它比起过往的软件开发要简单得多。比如前一阵火爆的Wordware，能让一般用户用自然语言就能完成智能体的建构，更降低了门槛。

但思维链、多步循环等设计仍然非常复杂，过程中需要用到的工具也越来越多。因此，能够真正投身于智能体开发并且用好这个工具的人并不多。

扎克伯格曾在和黄仁勋的对谈中称，就算大模型技术不再发展了，光是吃透智能体的潜力就得花五年。

因此，相比于技术，开发者可能更是智能体还没爆发的核心瓶颈。现在能做这事的人还是太少。

但是，Agent却很多。

如果这一自动生成调优Agent的技术被更多商业公司采纳优化，早期技术人员的瓶颈自然不复存在了。智能体对各个领域的覆盖能力和能力深度的探索速度都会大幅提高。

也许就在明年，人类史上的第一个Killer AI App，作者就是个AI。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

路线图很大就不一一展示了 （文末领取）

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥两本《中国大模型落地应用案例集》 收录了近两年151个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

👉GitHub海量高星开源项目👈

💥收集整理了海量的开源项目，地址、代码、文档等等全都下载共享给大家一起学习！

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告（持续更新）👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓