大模型技术的发展开始慢了下来

Patrick McFadin 是O’Reilly出版的《Managing Cloud Native Data on Kubernetes》一书的合著者。他目前在DataStax从事开发者关系的工作，并为Apache Cassandra项目做出贡献。

Patrick曾担任Apache Cassandra的首席布道师，并在DataStax担任顾问，期间他参与了构建一些最大的生产部署，并从中获得了丰富的经验。最近，他在《The Current State of LLMs: Riding the Sigmoid Curve》一文中对大模型现状进行了解读。

正文：

如果你最近在关注AI领域，可能会察觉到一丝变化。一年前的那种无拘无束的乐观情绪，逐渐被更加冷静和现实的态度所取代。作为一个深耕AI代码的开发者，并且参与了LangChain和LlamaIndex等项目，我亲身感受到了这一转变。

最近，我参加了两个AI会议——AI质量大会和AI工程世界博览会，明显感受到行业内情绪的变化。这标志着AI发展的一个重要节点，我想分享一下我对当前AI形势的看法。

S型曲线：AI增长的新视角

曾几何时，我们认为AI的发展会沿着指数曲线飞速前进，但现实并非如此。AI社区现在更倾向于用“S型曲线”来描述AI的发展：在经历了初期的快速增长后，进展开始趋于平缓，遇到自然的限制。

为什么会有这种视角的转变？这与我们在大语言模型开发中面临的诸多限制有关。

首先是数据的可获得性。尽管互联网内容庞大，但高质量的数据毕竟有限。像OpenAI这样的公司正在努力争取更多数据来训练GPT-5，但当我们需要为GPT-6准备10倍的数据时，又该怎么办？合成数据可以填补部分空白，但这是一个难以解决的现实问题。

接下来是能源和基础设施的成本。训练这些庞大的模型需要巨大的计算能力，消耗的资源和产生的热量令人咋舌。这不仅仅是费用问题，还涉及到资源的极限。例如，新建的xAI数据中心每天需要消耗100万加仑的水和150兆瓦的电力。虽然研究人员和初创公司正在寻找替代GPU的方法，但这还处于早期阶段。

最后是经济可行性。目前，大型前沿模型的开发主要依赖于财力雄厚的云提供商的支持。但随着LLM的真实成本逐渐显现，模型的开发和部署方式可能会发生变化。训练一个前沿模型的费用高达数十亿美元，甚至需要像Nvidia CEO黄仁勋这样的顶级人物亲自协调。

AI信任危机

除了这些限制，我们还面临所谓的“AI信任危机”。

在最近的AI工程会议上，这成为了一个热门话题。问题在于，LLM往往会“创造性”地生成内容，这对于写小说是件好事，但用于自动化关键业务流程时却不太理想。LLM是概率模型，在某些情况下会迷失方向。

我亲眼目睹了一些客户试图用大量数据来替代分析流程，甚至让LLM接管整个工作岗位，结果都以失败告终，导致他们对新AI的能力产生了负面看法。

甚至内部人士也意识到，Transformer架构的局限性逐渐显现，各种模型的性能正在趋于GPT-4级别。我们可能还需要一到两个突破，才能真正实现大家所期待的自动化或人工通用智能（AGI）。

进入低谷期：来自Gartner炒作周期的证据

如果你想知道AI目前处于什么阶段，可以参考Gartner的炒作周期。

根据Gartner的预测，基础模型和生成式AI正进入“幻灭低谷”。但这并不是坏事，这是任何技术走向成熟的必经阶段。

早期采用者让人们兴奋不已，而后来的用户则开始发现技术的不完善，最终推动产品的改进，使其更加可靠和安全。

S型曲线的积极面

尽管前景看似黯淡，但S型曲线和“幻灭低谷”也有它的积极意义。如果你愿意信任这个过程，这里有一些值得期待的地方：

适应的时间：随着变化的速度放缓，企业有机会调整步伐，更有效地利用这些工具。不会再有每周追赶新模型的压力，这有助于最终推出成熟的产品。

改进的风险管理：通过更好地理解AI的能力和局限性，企业可以做出更明智的决策，合理部署这些技术。

战略规划机会：随着炒作的迷雾消散，未来的路线变得更加清晰。公司可以开始制定更现实的AI战略，将AI视为一种新的技能集，提升生产力并增加新的能力。

展望未来

接下来我们可以期待什么？我认为我们将进入一个整合和精炼的时期。不同模型之间的差距正在缩小，许多模型的性能趋于GPT-4级别。这对于不分用户来说是个好消息，他们可以在一个更稳定的基础上进行开发。

我们还可能看到更专注、高效的模型崛起。“越大越好”的时代正在结束，取而代之的是一种更加平衡的策略，兼顾能力与效率。

虽然我们可能不会以极快的速度迈向AGI，但我们正进入一个更具实际意义的创新阶段，AI在现实世界中的影响将逐渐显现。

所以，AI爱好者们，请系好安全带。虽然这段旅程可能比预期的平稳，但它远未结束。