吴恩达，对 Agentic Workflow 持续兴奋

继吴恩达在今年 4 月红杉 AI 峰会演讲过去之后，又做了两三次演讲/访谈，其中无不例外都着重提到了 Agentic Workflow.

吴恩达教授此前也开源了一个 Translation-Agent.

https://github.com/andrewyng/translation-agent

包括最近也做了一个新的 Vision-Agent.

https://github.com/landing-ai/vision-agent

吴恩达教授也与 ARK Invest 展开了一次对谈，以下是提炼出的关键观点。

对 AI 未来的能力十分乐观

Gen AI 和 LLM 受到广泛关注，可以完成的任务将远超目前的实际应用。人工智能作为一种通用技术，已经取得了很大的进步，有些进步只是刚刚出现，在不久的将来，我们可以用 AI 完成的任务会迅速增长。

GPU 和推理能力是 AI 应用落地的一个瓶颈，但这个问题会得到解决。无论是 GPU 还是其他类型的硬件，都有非常强大的经济上的动力来解决供应问题。现阶段一些有想法的、做了产品原型的、想做有不错的 ROI 的应用的人，会受限于高昂的 GPU 或 token 成本，落地时会受到一些阻碍。

有很多好的、相当可行的想法可以驱动 ROI，并且有信心各类问题在未来一两年内会得到解决。会有更多有价值的人工智能项目落地，因为应用瓶颈如 GPU 之后会被供应解决。

随着芯片供应链的改善和更好的芯片上线投入使用，AI 的训练和推理成本将会降低，如 ARK 机构的报告中估计，训练价格每年下降 75%，推理价格每年下降 86%。训练和推理成本的下降反过来又会带来进一步的创新。

未来几年 AI 的应用将会增加很多，新技术也正在积累。现在拥有的能力实际上还没有真正应用到商业市场，如果证明能在商业市场跑得通，那么会大大提高 AI 应用开发的生产力，而模型架构上的改进会带来更多性能上的进步。

自然语言的革命先出现在大语言模型中，图像处理革命会晚一点出现，这些革命性不仅在于生成，更在于分析。在接下来的几年里，我们将看到 AI 不仅在分析文本方面，而且在分析图像方面会取得很大进展。

我们需要明确 AI 能做什么和不能做什么。AI 是一种通用的技术，适用于各行各业，如医疗、金融、物流、教育等，我们不能同时成为所有应用领域的专家，需要与熟悉行业 know-how 的专家合作。凭借人工智能方面的通用技术知识和在特定行业领域的专业知识，我们将共同构建一些非常独特的东西。

人们用 AI 做了很多工业自动化和重复性工作，能更快速帮助许多企业重新思考他们的工作流，AI 无疑正在改变许多知识工作，今天每个知识工作者都可以通过使用生成式 AI，用更好的工具提供更多选择，取得更好的发展。

人工智能与人类智能是不同的，两者都很有价值。我们一直在努力将人工智能与人类智能进行比较，这没什么不好，但由于人类智能如此不同，实际上很难让 AI 做到人类所能做的一切，当然我们尝试让 AI 做到这一点。

看好 Agentic Workflow

拿写文章做类比。例如和另一个人说：“想让你为我写一篇关于给定主题的文章，需要一次性打字从头到尾”，虽然人们可以这样写，但实际上我们没有用这种方式写出很好的作品。

但是，我们可以用工作流来做更好的思考和写作，如从大纲、到研究、初稿、批判等，这是一个迭代的过程，这一系列迭代的工作流可以让我们自己更好的工作产品。

Agentic Workflow 能做到完成拆解的各任务环节，我们已经看到许多具有 Agentic Workflow 的 AI 应用的准确性有了巨大提高。同样，工作流的瓶颈之一也在于推理能力，因为用户使用产品需要反复调用 LLM，所以我们需要更快的推理能力来实现预期效果。

AI Agent 具备自我批判能力，在工作流中可以检查步骤，然后修正自己的错误。

吴恩达举了个例子，之前做过一个在线写调研报告的 Agent，某次在斯坦福大学给一个小组做演示，不知什么原因，那次调用网页搜索失败了，可能是 API 调用错误；但是这个 Agent 发现调用网络搜索失败之后，转而去用维基百科搜索代替。

其实他本人都忘了自己给 Agent 做了联网搜索和维基百科搜索的能力，而这个编写出的 Agent 足够聪明，当网络搜索失败时，它转向维基百科搜索，然后成功完成那次 demo。

AI Agent 也许也会出错、有缺陷，但当 Agentic Workflow 可能在某个步骤上出错时，它会发现是什么错误、自我批判修正，这会使它们更加稳健。AI Agent 在这方面就像人类一样，当我们做一些事情时，很多事情第一次都不起作用，但我们反思、批判和修复的能力，使人类的行动与思想更加强大。建立在当前模型基础上的 Agentic Workflow 可以让我们在做有商业价值的应用上取得很大进展。

快速推理的重要性

吴恩达认为是否有比 Transformer 更好的模型来支撑 Agent 的工作，可能不是绝对必要的，但如果有会更好，真正更重要的是快速推理和 token 快速生成。

很多大公司都在花费巨额预算来购买 GPU 进行训练，这非常棒，为我们提供了大模型基础，包括闭源和开源模型。但是现在越来越多 AI 应用的瓶颈在于真正快速推理的能力。所以当 Meta 发布了 Llama-3-70B 开源模型时，如果我们能以 10 倍快的速度进行推理，就能让 Agent 运行得更快。

更快的 token 生成也是游戏规则的改变，可以显著提升用户体验，让用户在 2 分钟或 1 分钟内得到结果，而不再需要 20 分钟或 25 分钟。这就是为什么到目前为止，更多的工作是应当做在真正快速生成便宜的 token 上。

这就是 Meta 正在做的，可以将更多信息压缩到更小参数的模型中，这样可以更快、更便宜地运行，从而可以减少延迟、减少推理成本，同时得到性能提升和成本下降。

做 AI 应用层相对于基础模型层的竞争激烈程度会更小一些。Gen AI 时代的一个精彩之处是开发成本比以前低得多，你可以在一天内建立一个引人注目的 demo，但要收集数据和评估效果可能需要更长的时间。

因此，AI 中的模型效果评估实际上是一个让人们不愿意切换模型的因素。不过有越来越多的人开始建立更好的模型评估方法，让人们更有效地从这些不同的模型中总结出经验。

而当各种模型的表现几乎没有区别时，在在这种情况下，开发者会选择成本最低的大模型供应商。更好的模型评估方法会让人们更有效地评估多个模型，然后从价格、性能、速度各方面考虑，选择最合适的模型来完成工作。

开源和闭源的思辨

吴恩达认为更多的开源会让世界变得更好，让很多人过得更好；闭源实际上是非常危险的，这不利于创新，不利于融入世界 LLM 的供应链中；开源带来的好处远大于闭源造成的伤害。

反对开源的一方的观点包括，其他人利用开源分散了训练模型的非常昂贵投资的价值，大模型的开源会增加人工智能的不安全性，不利于国家安全；但我认为这些论点已经失去了实质性的可信度。

而我看到的一件有趣的事情是，开源是有利于全球人工智能供应链的，并且技术往往反映了一个国家下的开发者们的价值观。例如 Google Docs 的开放性是一种开放的价值观，端到端加密的消息是重视隐私的价值观。

如果民主国家不积极参与 LLM 供应链中，其他国家就会加入，我非常希望 LLM 能够反映民主的价值观。但开源带来的好处，例如，Llama-3 的原始版本是有限的上下文窗口长度，但由于它是开放的，开发者现在不断修改 Llama-3 的不足，并且从商业的角度来看是非常理性的。

Meta 确保其在 AI 生态系统中有一个开源基础模型，然后就可以在此基础上发展构建，就像 iOS 之于应用开发一样；相比之下，Meta 没有多少动力去保持其模型的专有性和售卖 API 调用。所以这是非常理性的商业活动。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】