关于 GPT-5 的谣言会改变一切-CSDN博客

可能是由 GPT-5 创建

来源：科技世代千高原

如果我告诉你 GPT-5 是真实的，你会怎么想？它不仅是真实的，而且已经在你看不见的地方塑造世界。假设是这样的：OpenAI 构建了 GPT-5，但将其保留在内部，因为投资回报远高于将其发布给数百万 ChatGPT 用户。此外，他们获得的投资回报不是金钱，而是其他东西。如你所见，这个想法很简单；挑战在于将通向它的线索联系起来。本文深入探讨了为什么我相信这一切都是有意义的。

我要澄清的是：这纯粹是猜测。证据是公开的，但没有任何泄密或内部传言证实我是对的。事实上，我通过这篇文章构建了这个理论，而不仅仅是分享它。我没有特权信息——如果有，我无论如何都会签署保密协议。这个假设令人信服，因为它很有道理。老实说，我还需要什么来煽动谣言工厂？

是否赦免我取决于你。即使我错了——我们最终会发现——我认为这是一次有趣的侦探练习。我邀请你在评论中推测，但要保持建设性和深思熟虑。请先阅读整篇文章。除此之外，欢迎所有辩论。

一、Opus 3.5的神秘消失

在介绍 GPT-5 之前，我们必须先拜访一下它的远房表亲（同样缺席）：Anthropic 的 Claude Opus 3.5。

如您所知，三大人工智能实验室——OpenAI、Google DeepMind 和 Anthropic——提供了一系列旨在涵盖价格/延迟与性能范围的模型。OpenAI 提供了 GPT-4o、GPT-4o mini 以及 o1 和 o1-mini 等选项。Google DeepMind 提供 Gemini Ultra、Pro 和 Flash，而 Anthropic 提供 Claude Opus、Sonnet 和 Haiku。目标很明确：迎合尽可能多的客户。有些公司优先考虑顶级性能，无论成本如何，而另一些公司则寻求负担得起、足够好的解决方案。到目前为止，一切顺利。

但 2024 年 10 月发生了一件奇怪的事情。每个人都期待 Anthropic 宣布推出 Claude Opus 3.5 作为对 GPT-4o（于 2024 年 5 月推出）的回应。相反，他们在 10 月 22 日发布了Claude Sonnet 3.5 的更新版本（人们开始称之为 Sonnet 3.6）。Opus 3.5 不见了，似乎 Anthropic 没有了 GPT-4o 的直接竞争对手。很奇怪，对吧？以下是人们所说的内容以及 Opus 3.5 实际发生的事情的按时间顺序分类：

10 月 28 日，我在每周评论帖中写道： “[有]传言称 Sonnet 3.6 是……备受期待的 Opus 3.5 训练失败的中间检查点。”同样在 10 月 28 日，r/ClaudeAI subreddit 上出现了一篇文章：“Claude 3.5 Opus 已被废弃”，并附有指向Anthropic 模型页面的链接，截至今天，该页面已不再提及 Opus 3.5。有人猜测，删除该页面是为了在即将到来的融资轮之前保留投资者的信任而采取的战略举措。
11 月 11 日，Anthropic 首席执行官 Dario Amodei 在 Lex Fridman 播客上否认了他们已放弃 Opus 3.5 的传言：“没有给出确切日期，但据我们所知，计划仍然是推出 Claude 3.5 Opus。”谨慎而含糊，但确实有效。
11 月 13 日，彭博社发表声明，证实了之前的传言：“经过训练后，Anthropic 发现 3.5 Opus 在评估中的表现优于旧版本，但考虑到模型的大小以及构建和运行的成本，其优势并没有达到应有的程度。”达里奥似乎没有给出日期，因为尽管 Opus 3.5 的训练运行没有失败，但其结果却不尽如人意。请注意，重点是相对于性能的成本，而不仅仅是性能。
12 月 11 日，半导体专家 Dylan Patel 和他的 Semianalysis 团队给出了最后的剧情转折，将所有数据点编织成一个连贯的故事：“Anthropic 完成了对 Claude 3.5 Opus 的训练，并且表现良好，并进行了适当的扩展……但 Anthropic 并没有发布它。这是因为 Anthropic 没有公开发布，而是使用 Claude 3.5 Opus 生成合成数据并进行奖励建模，从而与用户数据一起显著改进了 Claude 3.5 Sonnet。”

简而言之，Anthropic 确实训练了 Claude Opus 3.5。他们放弃了这个名字，因为它不够好。Dario 相信不同的训练运行可以改善结果，因此避免给出日期。彭博社证实，结果比现有模型更好，但不足以证明推理成本是合理的（推理 = 使用该模型的人）。Dylan 和他的团队发现了神秘的 Sonnet 3.6 和失踪的 Opus 3.5 之间的联系：后者正在内部用于生成合成数据以提高前者的性能。

我们有类似这样的情况：

来源：作者

二. 更好，但更小更便宜吗？

使用功能强大、价格昂贵的模型来生成数据，从而提升功能稍差、价格更便宜的模型的性能，这一过程被称为蒸馏。这是一种常见的做法。这种技术使人工智能实验室能够改进其较小的模型，而这远远超出了仅通过额外的预训练所能实现的范围。

蒸馏有多种方法，但我们不会深入讨论。你需要记住的是，充当“老师”的强模型会将“学生”模型从 [小、便宜、快] +弱转变为 [小、便宜、快] +强大。蒸馏将强模型变成了金矿。Dylan 解释了为什么 Anthropic 使用 Opus 3.5-Sonnet 3.6 对这样做是合理的：

[新版 Sonnet 与旧版 Sonnet 的] 推理成本没有发生很大变化，但模型的性能却发生了变化。为什么要发布 3.5 Opus，从成本角度来看，与发布 3.5 Sonnet 并对该 3.5 Opus 进行进一步的后期训练相比，这样做没有经济意义？

我们回到成本问题：蒸馏可降低推理成本，同时提高性能。这是针对彭博社报道的主要问题的即时解决方案。除了效果不佳之外，Anthropic 选择不发布 Opus 3.5，因为它在内部更有价值。（Dylan 说，这就是开源社区如此迅速赶上 GPT-4 的原因——他们直接从 OpenAI 的矿山中获取黄金。）

最引人注目的发现是什么？Sonnet 3.6 不仅仅是好——它是最先进的好。比 GPT-4o 更好。得益于 Opus 3.5 的提炼，Anthropic 的中端模型表现优于 OpenAI 的旗舰产品（可能还因为其他原因，五个月的时间对 AI 来说很长）。突然间，高成本暴露出它只是高性能的虚假替代品。

“越大越好” 怎么了？OpenAI 首席执行官 Sam Altman 警告说，这种状况已经结束。我也写过相关文章。一旦顶级实验室变得神秘，嫉妒地守护着他们珍贵的知识，他们就不会再分享数字了。参数数量不再是一个可靠的指标，我们明智地将重点转移到基准性能上。OpenAI 最后一次正式披露模型规模是 2020 年的 GPT-3，有 1750 亿个参数。到 2023 年 6 月，有传言称 GPT-4 是一个混合专家模型，总计约1.8 万亿个参数。Semianalysis 后来在一份详细评估中证实了这一点，得出结论，GPT-4 有 1.76 万亿个参数。这是 2023 年 7 月。

直到一年半之后的 2024 年 12 月，专注于研究人工智能未来影响的组织 EpochAI 的研究员 Ege Erdil 才估计，这一批领先的人工智能模型（其中包括 GPT-4o 和 Sonnet 3.6）比 GPT-4 要小得多（尽管两者在基准测试中都优于 GPT-4）：

...当前的前沿模型，例如原始的 GPT-4o 和 Claude 3.5 Sonnet 可能比 GPT-4小一个数量级，其中 4o 有大约 2000 亿个参数，而 3.5 Sonnet 有大约 4000 亿个参数。...不过，考虑到我得出这个粗略结论的方法，这个估值很容易偏离 2 倍。

尽管实验室没有公布任何架构细节，但他深入解释了他是如何得到这个数字的，但这对我们来说并不重要。重要的是迷雾正在消散：Anthropic 和 OpenAI 似乎都在遵循类似的轨迹。他们最新的模型不仅比上一代更好，而且更小、更便宜。我们知道 Anthropic 是如何通过将 Opus 3.5 提炼成 Sonnet 3.6 来实现这一点的。但是，OpenAI 做了什么？

来源：作者

三、推动人工智能实验室发展的动力是普遍的

人们可能会认为 Anthropic 的提炼方法是由特殊情况驱动的——即 Opus 3.5 的训练运行令人失望。但事实是，Anthropic 的情况远非独一无二。Google DeepMind 以及 OpenAI 都报告了他们最近的训练运行中低于标准的结果。（请记住，低于标准并不等于更差的模型。）造成这种情况的原因对我们来说并不重要：由于缺乏数据而导致的收益递减、Transformer 架构固有的局限性、预训练缩放定律的平台期等。无论如何，Anthropic 的独特情况实际上非常普遍。

但请记住彭博社的报道：绩效指标的好坏仅取决于成本。这是另一个共同因素吗？是的，Ege 解释了原因：ChatGPT/GPT-4 热潮之后需求激增。生成式人工智能的普及速度如此之快，以至于实验室难以跟上，损失越来越大。这种情况促使他们所有人都降低推理成本（训练运行一次，但推理成本与用户数量和使用量成正比增长）。如果有3 亿人使用您的人工智能产品，每周的运营支出可能会突然让您破产。

无论是什么促使 Anthropic 从 Opus 3.5 中提炼出 Sonnet 3.6，OpenAI 都会受到多次影响。提炼之所以有效，是因为它将这两个普遍的挑战整合成一个优势：通过为人们提供较小的模型来解决推理成本问题，并通过不发布较大的模型来避免公众对性能不佳的强烈反对。

Ege 认为 OpenAI 可能选择了另一种方法：过度训练。其想法是在比计算最优更多的数据上训练一个小模型：“当推理成为你在模型上花费的很大一部分或主要部分时，最好……在更多的 token 上训练较小的模型。”但过度训练已不再可行。人工智能实验室已经用尽了用于预训练的高质量数据源。埃隆·马斯克和伊利亚·苏茨克弗在最近几周承认了这一点。

我们又回到了提炼阶段。Ege 总结道：“我认为 GPT-4o 和 Claude 3.5 Sonnet 很可能都是从更大的模型中提炼出来的。”

到目前为止，谜题的每一部分都表明，OpenAI 正在以同样的方式（提炼）和出于同样的原因（效果不佳/成本控制）做 Anthropic 对 Opus 3.5 所做的事情（训练和隐藏）。这是一个发现。但是等等，Opus 3.5 仍然隐藏着。OpenAI 的类似模型在哪里？它藏在公司的地下室里吗？想透露一下名字吗……？

来源：作者

四、开路者必须清理道路

我开始分析时研究了 Anthropic 的 Opus 3.5 故事，因为我们对这个故事了解得比较多。然后，我用蒸馏的概念追溯了通往 OpenAI 的桥梁，并解释了为什么推动 Anthropic 发展的根本力量也在推动 OpenAI。然而，我们的理论中出现了一个新的障碍：由于 OpenAI 是先驱，他们可能面临着 Anthropic 等竞争对手尚未遇到的障碍。

其中一个障碍是训练 GPT-5 的硬件要求。Sonnet 3.6 与 GPT-4o 相当，但发布时间滞后了五个月。我们应该假设 GPT-5 处于另一个层次。更强大、更大。不仅推理成本更高，训练成本也更高。我们谈论的可能是一场耗资 5 亿美元的训练。用目前的硬件有可能做到这一点吗？

Ege 再次出手相救：是的。为 3 亿人提供如此庞大的服务将负担不起。但培训呢？小菜一碟：

原则上，即使我们目前的硬件也足以服务于比 GPT-4 大得多的模型：例如，GPT-4 的 50 倍扩展版本拥有大约 100 万亿个参数，可能可以以每百万个输出 token 3000 美元和每秒 10-20 个 token 的输出速度提供服务。然而，要实现这一点，这些大型模型必须为使用它们的客户释放出巨大的经济价值。

然而，对于微软、谷歌或亚马逊（分别是 OpenAI、DeepMind 和 Anthropic 的赞助者）来说，花这么多钱进行推理是没有道理的。那么他们如何解决这个问题呢？很简单：如果他们计划向公众提供这个拥有数万亿参数的模型，他们只需要“释放大量经济价值”。所以他们没有这么做。

他们训练它。他们意识到它“比[他们]目前的产品表现更好”。但他们必须接受“它还不够先进，不足以证明维持[它]运行的巨大成本是合理的”。(这种措辞听起来熟悉吗？这是《华尔街日报》一个月前对 GPT-5 的报道。与彭博社对 Opus 3.5 的评价惊人地相似。)

他们报告的结果令人失望（或多或少准确，他们总是可以在这里玩弄叙事）。他们将其保留为一个大型教师模型，提炼出较小的学生模型。然后他们发布了这些。我们得到了 Sonnet 3.6 和 GPT-4o 和 o1，并且非常高兴它们既便宜又相当好。即使我们的不耐烦越来越强烈，对 Opus 3.5 和 GPT-5 的期望仍然保持不变。他们的口袋像金矿一样闪闪发光。

五. 当然，您还有更多理由，奥特曼先生！

当我调查到这个阶段时，我仍然不相信。当然，所有证据表明这对 OpenAI 来说完全合理，但合理（甚至可能）与事实之间存在差距。我不会帮你弥补这个差距——毕竟这只是猜测。但我可以进一步加强这个案例。

还有其他证据表明 OpenAI 就是这样运作的吗？除了表现不佳和损失不断增加之外，他们还有更多理由不推出 GPT-5 吗？从 OpenAI 高管对 GPT-5 的公开声明中，我们可以得到什么？他们一再推迟模型，难道不是在冒着声誉受损的风险吗？毕竟，OpenAI 是人工智能革命的典范，而 Anthropic 则在它的阴影下运作。Anthropic 可以采取这些举措，但 OpenAI 呢？也许不是免费的。

说到钱，让我们来挖掘一些有关 OpenAI-Microsoft 合作伙伴关系的相关细节。首先，众所周知的事实：AGI 条款。在OpenAI 关于其结构的博客文章中，他们有五项治理条款，描述了其运作方式、与非营利组织、董事会和微软的关系。第五条款将 AGI 定义为“一种在最具经济价值的工作上表现优于人类的高度自主系统”，并确定一旦 OpenAI 董事会声称已实现 AGI，“此类系统将被排除在与微软的 IP 许可和其他商业条款之外，这些条款仅适用于 AGI 之前的技术。”

不用说，两家公司都不希望合作关系破裂。OpenAI 设定了这一条款，但会尽一切努力避免遵守该条款。一种方法是推迟发布可能被称为 AGI 的系统。“但 GPT-5 肯定不是 AGI，”你会说。我要说的是，这是第二个事实，几乎没人知道：OpenAI 和微软对 AGI 有一个秘密定义，虽然与科学目的无关，但它在法律术语上构成了他们的合作关系：AGI 是一个“可以产生至少 1000 亿美元利润”的人工智能系统。

如果 OpenAI 以 GPT-5 尚未准备好为借口拒绝发布，那么除了控制成本和防止公众强烈反对之外，他们还能实现另一件事：他们无需声明其是否符合 AGI 的门槛。虽然 1000 亿美元的利润是一个惊人的数字，但没有什么能阻止雄心勃勃的客户在此基础上赚取这么多利润。另一方面，让我们明确一点：如果 OpenAI 预测 GPT-5 每年将带来 1000 亿美元的经常性收入，他们不会介意触发 AGI 条款并与微软分道扬镳。

创造出一个优秀的模型和创造出一个可以廉价服务于3亿人的优秀模型之间存在着巨大的差异。你不需要，你不需要。他们让我们使用他们最好的模型，因为他们需要我们的数据。现在情况已经不同了。他们也不追逐我们的钱。那是微软，不是他们。他们想要 AGI，然后是 ASI。他们想要遗产。

来源：作者

六、为什么这会改变一切

我们快要结束了。我相信我已经提出了足够的论据来证明这一点：OpenAI 很可能在内部运行 GPT-5，就像 Anthropic 对 Opus 3.5 所做的那样。OpenAI 甚至可能根本不会发布 GPT-5。公众现在衡量性能的标准是 o1/o3，而不仅仅是 GPT-4o 或 Claude Sonnet 3.6。随着 OpenAI 探索测试时间缩放定律，GPT-5 需要达到的门槛不断提高。他们怎么能以他们生产的速度发布一款真正胜过 o1、o3 和即将推出的 o 系列模型的 GPT-5？此外，他们不再需要我们的钱或我们的数据了。

训练新的基础模型（GPT-5、GPT-6 及后续模型）对 OpenAI 内部来说始终是有意义的，但不一定能成为产品。这可能已经结束了。现在对他们来说唯一重要的目标是继续为下一代模型生成更好的数据。从现在开始，基础模型可能会在后台运行，使其他模型能够实现它们自己无法完成的壮举——就像一位老隐士从秘密的山洞中传授智慧，只不过这个山洞是一个巨大的数据中心。无论我们是否遇到他，我们都会体验到他的智慧所带来的后果。

来源：作者

即使 GPT-5 最终发布，这一事实也突然变得无关紧要。如果 OpenAI 和 Anthropic 真的启动了递归自我改进的运作（尽管人类仍然参与其中），那么他们公开给我们什么都无关紧要。他们会越走越远——就像宇宙膨胀得如此之快，以至于来自遥远星系的光再也无法到达我们身边。

也许这就是 OpenAI 在短短三个月内从 o1 跃升至 o3 的原因。他们还将跃升至 o4 和 o5。这或许就是他们最近在社交媒体上如此兴奋的原因。因为他们实施了一种新的改进的运作方式。

你真的以为接近 AGI 就意味着可以随心所欲地使用越来越强大的 AI 吗？他们会把所有进步都发布给我们使用吗？你肯定不相信。他们说他们的模型会让他们遥遥领先，其他人都赶不上，这是认真的。每个新一代模型都是逃逸速度的引擎。从平流层，他们已经挥手告别了。

他们是否会回归还有待观察。

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。