吴恩达：四个步骤，让大模型变得更好

本周，生成式 AI 的竞争达到了新的高潮。

前有 OpenAI 抢先发布 GPT-4o，后有谷歌在 I/O 开发者大会上发布一系列生成式人工智能模型与产品。

自 2022 年 11 月 OpenAI 推出 ChatGPT，至今已有 18 个月。学界、业界为了提升生成式 AI 模型的能力，做出了诸多努力。

今天，著名人工智能学者、斯坦福大学教授吴恩达高度总结了提升生成式 AI 模型能力的方式，主要包括：1）提升模型的推理能力；2）扩展上下文窗口，并撰写一篇博客阐述了一套通用且高效的 prompt 策略。

我们对博客内容进行了不改变原意的编译、整理，以下是博客内容：

本周，谷歌宣布将 Gemini Pro 1.5 的输入上下文窗口扩大一倍，从 100 万 token 扩展到 200 万 token；OpenAI 发布了 GPT-4o，它的生成速度是 GPT-4 Turbo 的 2 倍，而且便宜 50%，原生支持输入、生成多模态 token。这是 18 个月以来的最新进展。

自 2022 年 11 月 ChatGPT 推出以来，随着 GPT-4、Gemini 1.5 Pro、Claude 3 Opus 和 Llama 3-70B 的发布等重要里程碑的到来，许多模型提供商通过两个重要方式提高了自己的能力：

• 提升模型的推理能力，使 LLM 能够思考复杂的概念并遵循复杂的指令；

• 更长的输入上下文窗口。

GPT-4 和其他高级模型的推理能力使它们非常擅长解释带有详细说明的复杂 prompt。许多人习惯向 LLM 快速提出 1 - 2 句话的查询。相比之下，在构建应用程序时，我看到经验丰富的团队经常编写可能长达 1 - 2 页的 prompt（我的团队称其为「mega-prompt」），这些 prompt 提供复杂的指令来详细说明我们希望 LLM 如何执行一个任务。我仍然认为团队在编写详细指令方面做得不够好。有关中等长度 prompt 的示例，请查看 Claude 3 的系统 prompt，详细且为 Claude 应该如何执行任务提供了明确的指导。

这是一种与我们通常在 LLM 网络用户界面中使用的非常不同的 prompt 方式。在这种方式中，我们可能会快速进行查询，如果响应不满意，则通过与聊天机器人反复对话来表述清楚我们想要什么。

此外，输入上下文窗口长度的增加为开发人员的工具箱添加了另一种技术。GPT-3 激发了关于小样本上下文学习的大量研究。例如，如果您使用 LLM 进行文本分类，您可能会提供一些（例如 1 - 5 个）文本片段及其类别标签的样本，以便它可以泛化到其他文本。

GPT-4o 接受 128000 个输入 token，Claude 3 Opus 200000 个 token，Gemini 1.5 Pro 100 万个 token（200 万个 token 目前仅适用于预览版）。然而，随着输入上下文窗口变得越来越长，人们发现 LLM 并不局限于少数样本。通过多样本（many-shot）学习，开发人员可以在 prompt 中给出数十个甚至数百个样本，这比少样本（few-shot）学习效果更好。

在构建复杂的工作流时，我看到开发人员通过如下过程获得了良好的结果：

1. 编写快速、简单的 prompt，看看效果如何。

2. 根据输出不足的地方，迭代地充实 prompt。这通常会导致更长、更详细的 prompt，甚至可能是「mega-prompt」。

3. 如果这仍然不够，请考虑少样本或多样本学习（如果适用），或者不太频繁地进行微调。

4. 如果仍然不能产生您需要的结果，请将任务分解为子任务并应用智能体工作流。

我希望这个过程能够帮助大家更轻松地构建应用程序。如果您有兴趣更深入地研究 prompt 策略，我推荐 Medprompt 论文，其中列出了一组复杂的 prompt 策略，可以带来非常好的结果。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

-END-

---

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓