Cursor创始团队的最新访谈，值得一读

最新推荐文章于 2024-10-28 22:12:46 发布

AI大模型-王哥

最新推荐文章于 2024-10-28 22:12:46 发布

阅读量1.1k

点赞数 14

文章标签：人工智能学习大模型入门大模型教程大模型学习大模型 AI大模型

本文链接：https://blog.csdn.net/2401_84204413/article/details/142780730

版权

Cursor IDE 最近确实成为了编程界的热门话题，它通过集成先进的人工智能技术，正在重新定义编程的方式。这款由 AI 驱动的代码编辑器，能够理解你的代码库、预测你的下一步动作，并以惊人的速度生成代码，从而大幅提升你的编程效率。

Cursor 擅长的不仅仅是代码补全，它还能通过自然语言处理技术，将你的伪代码或描述性语言转换成实际的代码片段。这意味着，你可以通过简单的英语描述来指导 AI 编写功能复杂的代码，这在处理复杂的编程任务时尤其有用。

前几天知名播客主持人 Lex Fridman 和 Cursor 团队 4 名创始成员进行了一场对话，整个对话内容非常丰富，我们一起来学习一下。

#01

代码编辑器基础

Lex：代码编辑器有什么用？

Michael：代码编辑器主要是你构建软件的地方，现在或者很长一段时间内，代码编辑器都是你文本编辑正式编程语言的地方。对于不是程序员的人来说，可以将代码编辑器想象成一个为程序员设计的超级增强型文字处理器，它之所以增强，是因为代码有很多结构。所以这个 “文字处理器”，即代码编辑器实际上可以为你做很多文字处理器在写作空间中无法为人们编辑文本所做的事情。

它可以为你提供代码中实际标记的视觉区分，让你可以快速扫描，让你在代码库中导航，就像你在互联网上使用超链接一样，你可以定义你正在使用的东西，进行错误检查以捕捉基本的错误。所以传统上这就是代码编辑器的意义。我认为随着构建软件的含义可能开始看起来有点不同，未来 10 年代码编辑器的含义将会发生很大的变化。

Lex：我认为代码编辑器也应该非常有趣。

Arvid：是的，这非常重要。实际上，这是我们决定要构建什么的一个被低估的方面。我们构建的很多东西，我们尝试它们，我们做实验，然后我们把它们扔掉，因为它们不好玩。所以有趣的很大一部分原因是速度快，很多时候快速就是有趣。

Michael：从根本上说，我认为吸引很多人在计算机上构建东西的一件事是这种疯狂的迭代速度，而在其他学科中，你可能会被资源或能力…… 甚至是让一大群人聚在一起的能力所限制…… 编码是这种令人惊讶的事情，它是你和计算机，仅此而已，你可以非常快速地构建非常酷的东西。

#02

GitHub Copilot

Lex：对于那些不知道的人，Cursor 是一个超级酷的新编辑器，它是 VS Code 的一个分支。我想听一下你们自己使用编辑器的经历应该会很有趣。我认为你们所有人都是 VS Code 和 Copilot 的超级粉丝。你们是如何接触到 VS Code 的，这又如何引导你们走上 Cursor 的旅程？

Aman：我们所有人最初都是 Vim 用户。是的。没有 Neovim，只有纯粹的 Vim 和终端。至少对我来说，是在 2021 年 Copilot 发布的时候，我真的想尝试一下。所以我进入了 VS Code，这是唯一可用的代码编辑器，尽管我非常喜欢使用 Vim，但 Copilot 与 VS Code 的体验足够好，说服我切换过来。所以这一直就是我们的默认选择，直到我们开始开发 Cursor。

Arvid：我认为 GitHub Copilot 被低估的一个方面是，即使它错了，有点烦人，但也不是那么糟糕，因为你再输入一个字符，然后也许它就懂你了。所以即使它错了，也不是那么糟糕。

Sualeh：你可以迭代并修复它。Copilot 对我来说被低估的另一部分是，它只是第一个真正的 AI 产品。所以第一个语言模型消费产品。

Lex：是怎么有开发 Cursor 的想法的？

Michael：大约在 2020 年，OpenAI 发布了有关缩放损失的论文，那一刻，该领域似乎取得了明显可预测的进展，即使我们没有更多的想法，但看起来如果你有更多的计算能力和更多的数据，你可以让这些模型变得更好。

所以那个时候对我们中的一些人来说，有很多概念性的讨论，这将是什么样子？对于所有这些不同的知识工作者领域，他们将如何通过这项技术变得更好？然后我认为有几个关键时刻，论文中预测的理论收益开始感觉非常具体，开始觉得如果你想在人工智能领域做有用的工作，你实际上可以去，而不必攻读博士学位。感觉现在有一整套系统可以构建，这些系统非常有用。

我认为下一个让一切都变得顺理成章的重要时刻实际上是提前获得 GPT-IV 的使用权。所以大约是在 2022 年底，我们开始修改这个模型，能力的提升感觉非常巨大。在此之前，我们一直在做一些不同的项目。

因为 Copilot，因为 scaling odds，因为我们之前对技术的兴趣，我们一直在为程序员构建工具，但都是非常具体的。所以我们正在为必须在 Jupyter Notebook 中工作的金融专业人士构建工具，或者尝试使用这些模型进行静态分析。

然后 GPT-IV 的提升感觉就像是，看，这真的使之前预测的理论收益变得具体。感觉就像你可以立即构建更多的东西。而且如果我们保持一致，它真的感觉这不仅仅是一个点解决方案。所有编程都将流经这些模型，而且感觉这需要一种不同类型的编程环境，一种不同类型的编程。所以我们开始构建那种更大的愿景。

#03

Cursor

Lex：好的，那么我们来谈谈 Cursor。

Michael：对我们来说，决定做一个编辑器似乎是显而易见的，至少对于我们想要做的事情和实现的目标来说是这样的，因为我们开始做编辑器时，想法是这些模型会变得更好，它们的能力会提高，这将完全改变你构建软件的方式，这不仅会让你获得巨大的生产力提升，而且会带来根本性的改变，现在主动构建软件将会发生很大的变化。

所以如果你是一个现有编码环境的插件，你在代码编辑器上的控制非常有限，我们不想被这些限制所束缚。我们想要能够构建最有用的的东西。

Lex：VS Code 是 Copilot 的竞争对手，那么你如何赢？靠速度和功能质量吗？

Aman：是的，我的意思是我认为这是一个非常有趣的领域，也许是非常独特的，如果你看看以前的技术浪潮，也许有一种主要的事情发生了，它解锁了一波新的公司，但每一年，每一个模型能力或模型能力的跳跃，你现在解锁了一波新的特性，特别是在编程中。

**所以我认为在 AI 编程中，即使是提前几个月，也会让你的产品有用得多，更不用说提前一年了。**我认为一年后的 Cursor 将需要使今天的 Cursor 看起来过时。我认为微软做了很多很棒的事情，但我不认为他们像一个初创公司那样有很大的空间真正继续创新和推动这方面的发展。

Sualeh：我不知道我是否从功能的角度来考虑它，还是从程序员的能力的角度来考虑它。随着新的 o1 模型的发布，我相信还会有更多不同类型的模型，比如更长的上下文，也许更快，有所有这些疯狂的想法你可以尝试，希望 10% 的疯狂想法能够变成一些很酷、有用的东西，我们希望人们能更快地拥有它。

当我们开始构建 Cursor 时，你真的感到这种挫败感，模型…… 你可以看到模型变得更好，但 Copilot 的体验没有改变。他们没有做新东西，如果做了新东西，我敢肯定它会卖的更好。但他们没有这么做。

Lex：让我们谈谈全知全能的 Tab，基本上就是自动完成的强化版。那么 Tab 是如何工作的？Tab 是什么？

Michael：我想说 Cursor 目前在两方面表现不错。它还有其他功能，但有两方面可以帮助程序员。其一是它可以在你身后监视你，并成为一位速度非常快的同事，他可以抢在你前面输入并判断你接下来要做什么。这就是最初的想法…… 这是一个好的自动完成的核心想法，预测你接下来要做什么，但你可以让这个概念更加宏大，不仅仅是预测 Cursor 后面的字符，还可以预测你要进行的下一个整体更改、下一个差异、你要跳转到的下一个位置。

第二个是 Cursor 现在也非常擅长的，就是帮助你有时跳到 AI 前面，告诉它该做什么，从指令到代码。在这两方面我们都做了很多工作，使这些事物的编辑体验符合人体工程学，同时也使这些事物变得智能和快速。

#04

Cursor Tab

Sualeh：我们真正想要的一件事是让模型能够为我们编辑代码。

这是我们的愿望，我们在拥有一个能够为你编辑代码的好模型之前尝试了多次。然后当我们有了一个好的模型后，我认为为了获得良好的体验，我们付出了很多努力使推理变得快速，我的意思是，Michael 提到了这种跳转到不同地方的能力，我认为这种跳转到不同地方的能力来自于一旦你接受了编辑，它就像伙计，下一步去哪里应该非常明显。

就像我做了这个改变，模型应该只知道接下来要去的地方是 18 行以下。如果你是 WIM 用户，你可以按 18JJ 或什么的，但我为什么要这么做？模型应该只知道它。

所以这个想法是，你只需按 Tab 键，它会跳到 18 行以下，然后显示下一个编辑，然后你继续按 Tab 键，你只需按 Tab 键。所以内部竞争是，我们能让人们按多少次 Tab 键？一旦你有了这个想法，更抽象地说，要考虑的事情是如何使编辑零熵？

所以一旦你表达了你的意图，没有新的信息位来完成你的想法，但你仍然必须输入一些字符，让计算机理解你实际上在想什么，那么也许模型应该只是读懂你的心思，所有的零熵位应该只是被 Tab 键消除。这是抽象版本。

Aman：有一个有趣的现象，如果你看看不同领域语言模型的损失，我相信每字节的比特数，这是一种对代码字符归一化损失的衡量，比语言低，这意味着一般来说，代码中有很多标记是非常可预测的，很多字符是非常可预测的。

我认为即使你不仅仅是试图自动完成代码，而是预测用户在编辑现有代码时接下来要做什么，这一点甚至更加放大。所以 Cursor Tab 的目标是让我们消除你在编辑器中采取的所有低熵行动。当意图有效确定时，让我们只是把你的时间向前跳跃，向前跳过你。

Lex：再说一次，Tab 在近期内应该能够做什么？

Sualeh：希望也能跳到不同的文件。所以如果你在一个文件中做了编辑，也许你需要去另一个文件来完成你的想法，它也应该去第二个文件。

Arvid：完整的泛化是下一步行动预测。有时你需要在终端中运行一个命令，它应该能够根据你编写的代码建议命令。你需要知道类型才能验证它是否正确。所以也许它应该实际上带你去某个定义的地方，然后带你回来，这样你就拥有了接受下一个完成所需的所有知识。

#05

代码差异

Lex：Cursor 有一个非常酷和明显的特点，那就是整个 diff 界面情况。所以模型建议用红色和绿色显示我们将如何修改代码，然后在聊天窗口中你可以应用它，它会向你显示 diff，你可以接受 diff。也许可以谈谈那个方向的事情？

Sualeh：我们可能会有四五种不同的 diff。我们针对自动完成功能优化了 diff，因此它具有与检查较大代码块时不同的 diff 接口。然后，我们正在尝试优化另一个 diff 功能，以适应处理多个不同文件的情况。

从高层次来看，区别在于你使用自动完成功能时，读取速度应该非常非常快。实际上，在所有情况下读取速度都应该非常快，但在自动完成功能中，你的眼睛会集中在一个区域，人类不能看太多不同的地方。

我们尝试了三四次才让这个东西正常工作，第一次尝试是使用蓝色划线。所以之前它在侧面有一个框，它过去常常通过 Google Docs 风格向你展示要删除的代码，你会看到一条线穿过它，然后你会看到新代码。那非常分散注意力。然后我们尝试了很多不同的方法，有删除，有尝试红色高亮。

然后，在下一次迭代中，这有点搞笑，你会按住 Mac 上的选项按钮。所以它会突出显示代码的一个区域，以显示可能有一些即将到来的东西。所以也许在这个例子中，输入和值都会变成蓝色。蓝色是为了突出显示 AI 对你有一个建议。

所以它不是直接向你展示东西，它只是暗示 AI 有一个建议，如果你真的想看，你会按住选项按钮，然后你会看到新的建议。如果你释放选项按钮，然后你会看到你的原始代码。

#06

机器学习细节

Lex：我真的感觉到这个编辑器有 AGI 的感觉。感觉背后有很多机器学习在进行。能告诉我一些让它全部工作的 ML 内容吗？

Aman：Cursor 真正发挥作用的地方在于，我们通过这组自定义模型与前沿模型一起训练，这些模型在推理密集型任务中表现非常出色。

例如 Cursor Tab，是一个很好的例子，你可以专门化这个模型，使其比你在任务上看到的评估更好，甚至比前沿模型更好。

另一个领域是 Apply，令人惊讶的是它需要定制模型，但这是必要的，并且效果很好，是在应用方面。这些前沿模型在草拟代码计划和生成变化的粗略草图方面相当出色，但实际上，为你的训练模型创建差异对于前沿模型来说是非常困难的。

你尝试用 Sonnet，用 o1，用任何前沿模型来做这件事，它会在像计数行号这样愚蠢的事情上搞砸，特别是在超级、超级大的文件中。因此，为了缓解这种情况，我们让模型勾勒出这个粗略的代码块，表明将发生哪些变化，然后我们训练一个模型，将该变化应用到文件中。

Sualeh：与普遍看法相反，它不是一个确定性算法。

Aman：是的，我认为你在其他地方看到了应用的浅拷贝，它只是在大多数时候都失败了，因为你认为你可以尝试做一些确定性匹配，然后它至少有 40% 的时间失败了，这就会导致糟糕的产品体验。

我认为总的来说，这种制度将使你获得越来越智能的模型。应用让你做的另一件事是它让你使用更少的 Token 与最智能的模型。这在生成所有这些令牌的延迟方面是昂贵的，成本也很高。

所以你可以给出这个非常、非常粗略的草图，然后让你的模型模型去实现它，因为实现这个非常、非常粗略的代码是一个更容易的任务。而且我认为这种制度将继续下去，你可以使用越来越聪明的模型来做计划，然后也许实施细节可以由不那么智能的模型来处理。也许你会有 o1，也许它会有更强大的模型，给出更高级别的计划，该计划由 sauna 递归应用，然后是 apply 模型。

Sualeh：也许我们应该谈谈如何让它更快。

Aman：是的，所以使其快速的一个主要组成部分是推测性编辑。所以推测性编辑是推测性解码的变体，也许简要描述一下推测性解码会有帮助。有了推测性解码，你可以利用这样一个事实，我会加上一个限定，那就是当你在语言模型生成中受到内存限制时，如果你一次处理多个 Token，它比一次生成一个 Token 要快。这就是为什么如果你看看每秒的 Token 数与提示 Token 相比，生成 Token 要快得多的原因。

所以我们做的是，不是使用推测解码通常所做的，即使用一个非常小的模型来预测你的大型模型然后将验证的 Token 令牌，对于代码编辑，我们对现有代码的外观有很强的先验，那个先验就是完全相同的代码。

所以你可以做的是，你可以只将原始代码的块重新输入模型，然后模型大部分时间会同意，“好的，我将把这个代码重新输出。” 所以你可以在并行处理所有这些行，你只需要用足够多的块来做这个。然后最终你会达到一个分歧点，模型现在将预测与原始代码不同的文本。它将生成那些 Token，然后我们将在足够多的 Token 匹配原始代码后决定重新在代码块中进行猜测。

这实际上最终看起来像是正常编辑代码的更快版本。所以它看起来像是模型重写所有代码的更快版本。所以我们可以使用与 diff 完全相同的接口，但它的流式传输速度会快得多。

#07

GPT 与 Claude

Lex：哪个大型语言模型在编程方面更好？GPT，Claude，在编程方面谁更胜一筹？

Aman：我认为没有哪个模型在所有我们认为重要的类别中都优于其他模型，这些类别包括速度、编辑代码的能力、处理大量代码的能力、长上下文、其他几件事情以及编码能力。我现在会说最好的是 Sonnet。我认为这是大家一致的看法。

o1 非常有趣，它在推理方面非常好。所以如果你给它非常困难的编程面试风格问题或领导代码问题，它在这些问题上可以做得相当好，但它感觉不像 Sonnet 那样理解你的大致意图。

如果你看很多其他前沿模型，我有一个疑虑，那就是感觉它们不一定好…… 我不是说它们在基准测试上训练，但它们在基准测试中的表现确实非常好，相对于所有中间的东西。所以如果你尝试所有这些基准测试和它们评估的分布中的东西，它们会做得很好。

但是当你稍微将它们推出那个范围时，Sonnet 是我认为在保持相同能力方面做得最好的。你在基准测试中拥有的能力与你试图指示它用编码做任何事情时拥有的能力相同。

Sualeh：顺便说一下，这是一个非常、非常困难且至关重要的细节，基准测试与真实编码的不同之处在于，真实编码不是面试风格的编码。人类有时会说半生不熟的英语，有时你会说，“哦，做我之前做的事。” 有时你会说，“去添加这个东西，然后为我做这件事，然后制作这个 UI 元素。” 然后很多事情都是依赖上下文的。你真的想了解人类，然后做人类想要的，而不是这个…… 也许抽象地表达方式是面试问题非常规范。它们很大程度上依赖于规范，而人类的东西规范性较差。

#08

提示工程

Lex：一个好的提示扮演着什么角色？

Arvid：我认为这取决于你使用的是哪个模型，所有模型都略有不同，它们对不同的提示反应也不同。所以我们有所有这些围绕代码库的信息，可能会在提示中相关。你有文档，你有你添加的文件，你有对话历史，然后有一个问题，你实际上决定把什么放在提示中，当你有有限的空间时？

即使对于今天的模型，即使你有长上下文，填满整个上下文窗口意味着它会更慢。这意味着有时模型实际上会感到困惑，有些模型比其他模型更容易困惑。

我们内部有一个系统，我们称之为 Preempt，它在一定程度上帮助我们。我认为它是为我们有 8000 个 Token 上下文窗口的时代建立的。这有点像当你在制作网站时。你希望它在移动设备上工作，你希望它在桌面屏幕上工作，并且你拥有你没有的动态信息。

例如，如果你设计印刷杂志，你知道确切可以放东西的地方。但是当你有一个网站或者当你有一个提示时，你有这些输入，然后你需要格式化它们，以便它们总是工作，即使输入非常大，你可能必须削减一些东西。所以的想法是，好的，让我们采取一些灵感。

设计网站的最佳方式是什么？我们非常喜欢 React 以及声明式的方式，比如你可以在 JavaScript 中使用 JSX，然后直接声明：这就是我想要的，我认为这个部分比其他部分具有更高的优先级或更高的 Z 轴顺序。

然后在网页设计中，渲染工作由渲染引擎来完成，而在 Cursor 中，这个任务由 Preempt 渲染器负责，它将所有内容布局到页面上。你只需说明你想要的效果，渲染器会自动帮你实现。

我们发现这种方法非常有用，而且它的角色也在不断演变：最初它是为了适应较小的上下文窗口，而现在它在拆分进入提示词的数据和实际生成方面发挥了很大作用。因此，调试起来更加简单，因为你可以修改提示词，并在旧的提示词上进行测试，直接查看你的修改是否真的提升了整个评估集的表现。

Lex：模型选择回应与一般回应有多难？这很难，如何处理不确定性。我是否选择询问更多信息以减少歧义？

Sualeh：我们最近为 Cursor 添加了一个加入文件的功能。当你在编辑代码或输入内容时，模型会尝试预测你正在做什么，如果模型发现有不确定的地方，它会猜测你可能在编写某种 API。然后，模型会查看你的历史记录，推测哪些文件与当前的编辑内容相关。

这里有一个技术上的难题，就是如何在所有历史记录中找到相关的信息，判断在当前的提示词下哪些文件最重要。虽然这个功能还处于试验阶段，但相信我们会逐步完善它，但我们想展示出这个想法：你是否想添加这个文件、那个文件，以便模型帮你编辑？

比如你正在编写一个 API，同时，你也需要编辑使用这个 API 的客户端和服务器代码，那么 API 发生变化时，客户端和服务器代码也需要相应更新。

Cursor 可以做的是，当你在编写提示或代码时，在按下「回车」之前，模型可以帮你找到这些可能需要一起修改的部分。这样做的好处是，可以提前解决一些不确定性，确保所有相关的代码都被正确更新，而不需要手动去查找和同步这些改动。

#09

AI Agent

Lex：你们怎么看 Agent？Agent 有多有用？

Arvid：我认为 Agent 就像人类，你可以感觉到你越来越接近 AGI，因为你看到一个演示，它像人类一样行动，这真的非常酷。我认为 Agent 在很多方面还不是非常有用。但我认为我们越来越接近它们实际上会有用的阶段。

所以我认为在某些类型的任务中，拥有一个 Agent 会非常好。我很想有一个 Agent。例如，如果我们有一个 bug，有时你不能在聊天输入框中 Command+C 和 Command+V，这是一个非常明确的任务。我只想用两句话说，“这不管用，请修复它。” 然后我很希望有一个 Agent，它去做，然后一天后，我回来检查。

#10

上下文

Lex：在上下文的话题上，这实际上是我的一个痛点。当我用 Python 编写代码时，有很多被导入的东西。你可能可以直觉地知道我想在上下文中包含什么样的东西。自动计算上下文有多难？

Michael：这很棘手。我认为我们在未来可以在自动计算上下文方面做得更好。需要注意的一点是，包含自动上下文是有权衡的。你为这些模型包含的上下文越多，首先，它们就越慢，这些请求就越昂贵，这意味着你可以进行更少的模型调用，后台做更少的花哨事情。

此外，对于很多这些模型来说，如果提示中有很多信息，它们会感到困惑。所以你包含的上下文的准确性和相关性的标准应该相当高。我们已经在产品的某些地方做了一些自动上下文。这绝对是我们想要做得更好的东西。我认为有很多很酷的想法可以尝试，包括学习更好的检索系统，例如更好的嵌入模型、更好的重新排序器。

我认为还有一些很酷的学术想法，我们在内部尝试过的东西，但这个领域也在努力解决，你能否让语言模型达到这样一种境界，即模型本身就可以理解新的信息语料库？这方面最流行的谈论版本是，你能将上下文窗口变得无限大吗？然后如果你使上下文窗口无限大，你能让模型实际关注无限的上下文吗？然后在你能让关注无限上下文变得有些可行之后，你能对那个无限上下文进行缓存吗？你不必一直重新计算。

但也有其他一些很酷的想法正在尝试，这有点像在模型权重中实际学习这些信息的微调。如果你在权重级别上做更多的事情，而不是在上下文学习级别上做，那么你实际上可能会获得一种定性的不同类型的理解。

我认为陪审团对这一切最终将如何运作仍有些不确定？但在此期间，作为一家公司，我们真的对更好的检索系统和挑选与你正在做的事情最相关的代码库部分感到兴奋，我们可以做得更好。

Aman：我们真的对更好的检索系统和挑选与你正在做的事情最相关的代码库部分感到兴奋。一个有趣的概念证明是使用 VS Code 直接在权重中学习这些知识。所以我们在 VS Code 分支和 VS Code 中。代码都是公开的。

因此，这些预训练模型已经看到了所有代码。他们可能还看到了有关它的问题和答案。然后他们进行了微调和 RLHF，以便能够回答有关代码的一般问题。因此，当你问它关于 VS Code 的问题时，有时它会产生幻觉，但有时它实际上可以很好地回答问题。我认为这只是…… 它碰巧没问题，但如果专门训练或后训练一个模型，使其真正构建为理解这个代码库，会怎么样？

这是一个开放的研究问题，我们对此非常感兴趣。此外，还有一个不确定性，你是否希望模型成为端到端完成所有工作的东西，即在内部进行检索，然后回答问题、创建代码，或者你是否想将检索与前沿模型分开，也许你会在几个月内得到一些真正强大的模型，这些模型比最好的开源模型要好得多？然后，需要单独训练一个非常好的开源模型作为检索器，作为将上下文输入到这些更大模型的东西。

#11

OpenAI o1

Lex：你们怎么看 OpenAI o1？这种能在测试时计算的系统将在编程中将扮演什么角色？

Aman：我认为测试时间计算真的非常有趣。因此，存在预训练机制，随着数据量和模型规模的扩大，无论是在损失方面，还是在下游基准测试和一般性能方面，它都能让你获得越来越好的性能。

因此，我们将其用于编码或其他任务。我们开始遇到一些数据障碍。这意味着，继续扩大这种机制将变得困难。因此，扩大测试时间计算是一种有趣的方式，如果现在增加我们使用的推理时间触发器的数量，但仍然得到…… 是的，随着你增加使用推理时间的触发器数量，这些模型的性能会得到相应的改进。

传统上，我们只需要训练一个更大的模型，该模型总是使用更多的触发器，但现在，我们可能可以使用相同大小的模型并运行更长时间，以便能够获得具有更大模型质量的答案。型模型的质量答案。

我觉得还有一点很有趣，有些问题可能需要拥有 100 万亿参数、训练了 100 万亿 Token 的超大模型才能解决，但这样的问题可能只占所有查询数量的 1% 甚至 0.1%。那么，你会花费大量的计算资源去训练一个如此昂贵的模型，却只为极少的查询提供服务吗？这样做感觉很浪费。所以更好的方法是，训练一个能够处理 99.9% 查询的模型，然后对于那些需要极高智能的问题，在推理时运行更长时间，以获得更好的答案。

在这里插入图片描述