2024年AI盘点：投资高歌猛进、基础设施重构、技术采用加速

本文全面分析了今年 AI 的发展，包含 AI 技术栈的基础设施层、基础模型层、应用层、工具层，尤其是各个层面的主要收获、值得关注的趋势与值得关注的初创公司。此外，本文还概括了 AI 领域的投资和并购情况，以及其他 AI 趋势。

需要指出的是，可能限于作者 Kelvin Mu 的关注重心，本文除了对中国基础模型的介绍，没有更多关于中国 AI 其他技术栈的进展。不过，这并不妨碍本文仍是我们了解 2024 年 AI 产业全局的绝佳文本。

本文主要包括五大关键点：

1. 整个基础设施堆栈正在经历一次重大改造，类似于互联网和云计算的建设。对推理的需求才刚刚开始加速，将由 GenAI 的日益普及、新的多模态应用以及不断演变的模型架构推动。

2. 随着规模扩展定律开始趋于平稳，模型开发正从大型预训练转向推理时的逻辑推演。这一转变使模型能够处理更复杂的逻辑推理任务。同时，更小、更专业模型的兴起为用户提供了更高的效率和灵活性。

3. AI 在企业环境中首次带来了实际的投资回报，例如代码生成、客户服务和搜索正在引发可衡量的影响。下一个前沿领域在于 AI 智能体的普及，但只有在我们构建了支持多智能体交互所需的底层架构之后，它们的真正潜力才能得以实现。

4. 对 AI 的投资持续增长，特别是在基础设施和基础模型层。大多数退出将通过并购实现，但投资者的高期望可能与市场现实相冲突，从而影响未来的估值。

5. AI 的快速采用已经超过了监管框架的步伐，引发了关于版权和知识产权等话题的争论。同时，各国越来越多地将 AI 视为主权问题，导致对 AI 生态系统区域化的关注增加。

在本文中，作者 Kelvin Mu 融合了个人观点，以及与研究人员、投资机构、超过 300 家 AI 初创企业的对话中收集到的见解。此外，本文还利用了作者所在的 Translink Capital 在过去 16 年中建立的广泛企业关系网络。

Kelvin Mu 是 Translink Capital 的投资主管，专注于人工智能和机器学习。他关注 AI 技术栈中的各种机会，包括基础设施、基础模型、工具和应用。在加入 Translink 之前，Kelvin 在美国和加拿大担任过多种业务运营、战略咨询和投资银行的职位。

（本文由 OneFlow 编译，转载请联系授权。原始报告：https://translinkcapital.docsend.com/v/c98t5/backward_pass；LinkedIn: https://www.linkedin.com/in/kelvinmu/）

作者 | Kelvin Mu 

OneFlow编译

翻译&题图｜SiliconCloud平台模型

1

引言

这是属于 AI 的多么非凡的一年。

长期以来期待的 AI 革命已不再是遥远的愿景，而是当下的现实。自20世纪50年代，艾伦·图灵首次提出图灵测试，Frank Rosenblatt 开创了第一个人工神经网络以来， AI 一直被誉为能够重塑社会的变革力量。然而，它的历程远非一帆风顺——从 20 世纪 70 年代到 21 世纪初， AI 经历了多次“寒冬”，这期间业内对它的关注度和资金大幅减少。近年来，随着 ImageNet（2009 年）、AlphaGo（2015 年）、Transformer（2017 年）和 ChatGPT（2022 年）等突破， AI 才真正重获动力。

今年是一个转折点，创新、投资和技术采用以前所未有的方式汇聚在一起。AI 已经超越了研究实验室和学术界的限制，成为董事会、政治辩论和家庭聚餐时的中心话题。今年有超过 600 亿美元的风险资本流入该行业， AI 投资占所有风险投资活动的三分之一以上——超过了医疗保健和消费等传统主导行业。

在现代历史上，这是第三次整个技术基础设施和计算堆栈正在从头开始重新构想。作为这一转型的最大受益者，英伟达的市值在短短 24 个月内增长了十倍，达到 3 万亿美元，成为全球最有价值的公司。与此同时，尽管面临内部动荡，OpenAI 仍创造了新的历史记录，在开启商业化的三年内达到了 40 亿美元的年化经常性收入（ARR）——这一速度至少比前纪录保持者亚马逊快了三倍。

企业也在大规模采用 AI。一年前，摩根大通的一项调查显示，只有 5% 的企业在生产中使用生成式 AI 。如今，这一比例已超过三倍。尽管许多实施仍处于概念验证（POC）阶段，但一些用例——如代码生成和客户服务——已经得到广泛应用。在谷歌，超过四分之一的新代码是由 AI 生成的，而 Klarna 的 AI 客户服务智能体可以完成 700 名人类员工的工作。这些例子表明，AI 正从承诺转向实践，并开始为企业带来切实的业绩。

尽管有这些进展，怀疑仍然存在。一些人开始质疑当前 AI 投资热潮的可持续性。今年 6 月，红杉资本发表了一篇题为“ AI 的 6000 亿美元问题”的文章，对大规模基础设施支出的回报率提出了质疑。不久之后，高盛在一篇文章中也表达了类似的担忧，“生成式 AI：支出过多，收益过少”。或许并不令人意外，超过 40% 的资产管理者认为，我们现在正处于 AI 泡沫中。

无论在这场辩论中站在什么立场，一个事实是无可争议的：今年 AI 的创新和采用速度是前所未有的。在现代历史上，很少有年份像 2024 年那样见证如此集中的技术进步和投资。这不仅仅是一场技术革命；这是一场社会革命。我们不仅是这场革命的旁观者，而是积极参与者——这是一个我们必须负责任地抓住的罕见机会。

生活在这样一个非凡的时代真是令人激动。

2

基础设施层

从 70 年的 AI 研究中可以得出的最大教训是，利用计算的通用方法最终是最有效的，并且遥遥领先

——Rich Sutton，《苦涩的教训》

I. 关键要点：

• 我们正在见证新的基础设施范式的曙光。在现代历史上，只有两次完全重新定义了全新的基础设施和计算堆栈——20 世纪末的互联网和电信繁荣，以及云计算和 SaaS 的兴起。现在，随着生成式 AI 的发展，我们正在进入第三阶段。

• 生成式 AI 的发展仍处于早期阶段。在互联网建设期间，1996 年至 2001 年间投资了超过 1 万亿美元的资本。目前的生成式 AI 建设在过去两年中仅投资了 3000 亿美元。以此衡量，我们仍处于早期阶段。（关于这个话题的更多细节，请参阅我深入比较当前 AI 周期与互联网泡沫周期的文章，https://kelvinmu.substack.com/p/ai-are-we-in-another-dot-com-bubble）。

• 对推理（inference）的需求才刚刚开始。由于Scaling Law正在放缓，对训练的需求可能正在成熟（稍后会详细讨论），但对推理的需求才刚刚开始。大致来说，有三个原因：

• • 早期采用。企业对生成式 AI 的采用仍处于起步阶段，但正在迅速加速。OpenAI  提供了一个有用的指标：尽管过去一年每 token API 成本降低了 10 倍以上，但其收入从 10 亿美元增长到 40 亿美元的年运转率，这意味着使用量增加了约 40 倍。*这种增长水平表明我们仍处于采用的早期阶段。

• • 多模态用例即将推出。目前大多数生成式 AI 应用都是基于文本的。多模态用例（例如，文本到视频、文本到 3D）在很大程度上仍未被开发，但它们对计算资源的需求要大得多。例如，生成 AI 视频所需的能量大约是等效文本文档的 100 倍。如果广告、媒体和娱乐等整个行业采用生成式  AI ，这将对推理产生指数级的需求。随着多模态 AI 的最新进展，这可能很快就会实现。

• • 模型架构的演变。像 OpenAI o1 这样的推理模型正在转向更多的推理时间的逻辑推演（也称为测试时计算），结合了思维链和强化学习。这种架构本质上为模型提供了额外的处理时间来思考和完成任务，但这同时也意味着更高的计算需求。例如，新的 o1 模型每个 token 的成本比 GPT-4o 高出 3-4 倍。随着越来越多的工作负载转向这种模型架构，对推理的需求将持续增长。

• 衡量当前基础设施建设的投资回报率（ROI）是困难的。今年夏天，红杉发表了一篇文章，质疑 6000 亿美元的收入从何获取，以证明当前 AI 基础设施建设的合理性。一个合理的解释是，当今的大部分计算能力都在支持内部项目，而不是新的创收产品——比如 Notion 的生成式 AI 功能或 Klarna 的 AI 客户服务代理。这些项目提高了运营效率，而不是创造新的净收入，这使得它们的 ROI 更难量化。作为背景，6000 亿美元仅占全球 100 万亿美元 GDP 的 0.6%——这可能低估了 AI 的长期潜力。

• AI 云市场正变得越来越分散。

• • 虽然超大规模企业（亚马逊、谷歌、微软）继续主导当今的  AI 云市场，但 CoreWeave、Lambda Labs 和 Tensorwave 等新兴企业正在提供具有成本效益的专用 AI 基础设施。Pitchbook 的 Brendan Burke 估计，这个新的  AI  云市场目前价值 40 亿美元，并将在 2027 年增长到 320 亿美元。

• • 像 Nvidia 和 AMD 这样的芯片制造商也在投资这些专业供应商。其中一个原因是，这些芯片制造商希望减少对超大规模云服务提供商的依赖，而这些超大规模云服务提供商同时也在开发自己的芯片。例如，谷歌的 TPU 芯片现在已被苹果等公司采用。AI 云市场的进一步碎片化似乎不可避免。

• AI 硬件初创公司面临高资本支出要求。

• • 越来越多的初创公司正在为 AI 工作负载设计定制的 ASIC 芯片（例如Groq、Cerebras）。这些公司不仅在芯片开发方面，而且在数据中心建设方面都面临着巨大的资金需求。

• • 硬件初创公司涉足数据中心建设是必要的，因为超大规模公司拥有自己的芯片研发能力，不太可能在其自己的数据中心采用第三方初创公司的芯片。例如，芯片初创公司 Groq 最近宣布，他们正与 Amarco Digital 合作在沙特阿拉伯建设自己的推理数据中心。

• • 这些初创公司能否从现有企业那里夺取市场份额还有待观察。到目前为止，在这些初创公司中，Cerebras 似乎领先一步，2024 年上半年收入为 1.36 亿美元，但这仍然仅占英伟达数据中心收入的 0.1%。

*此估计不包括 OpenAI 的 B2C 订阅收入，但总体趋势方向是准确的。

II. 未来值得关注的趋势：

• 数据中心 2.0。目前，数据中心的全球电力使用量约占 1-2%，但预计到 2030 年，这一数字将上升到总电力的 3-4%，主要由 AI 驱动（在美国，这一比例接近 8%）。总体而言，麦肯锡估计数据中心的容量从现在到 2030 年之间以 22%的复合年增长率增长。

• • 专门用于 AI 的数据中心与传统的云计算数据中心有很大的不同，主要是因为其更高的功率密度，这推动了诸如下一代液体冷却等创新技术的需求。AI 训练和推理的特殊需求还要求高带宽、低延迟的网络连接。这推动了下一代网络和互连技术的发展，以减少多 GPU 集群中的瓶颈。

• • AI 本身可以用于优化数据中心，例如在预测性维护、动态工作负载分配和能源效率方面。例如，Phaidra是一家正在研究使用强化学习（RL）进行数据中心自主控制冷却系统的初创公司。

数据中心的复合年增长率预计在 2023-2030 年间为 22%；资料来源：麦肯锡

• Nvidia 在硬件领域的主导地位。Nvidia 现在是全球市值最高的公司，今年纳斯达克的涨幅中有 40% 归功于这一家公司。然而，历史上很少有公司在整个过程中保持 90% 以上的市场份额。

• • Nvidia 在可预见的未来可能会继续主导市场，但竞争可能会更加激烈。一个竞争对手是 AMD——AMD 的数据中心业务目前只有 Nvidia 的 10%（35 亿美元对 308 亿美元），但同比增长了 122%。该公司也在大型企业中取得进展——例如，Open AI  最近宣布将开始使用 AMD 的 MI300，联想表示对 AMD 的 MI300 的需求创历史新高。

• • 另一个主要的竞争来源是超大规模企业本身。他们的一大优势是内部对  AI  训练和推理的巨大需求。在 CSP 中，谷歌领先最多，新的 TPU V5p 比上一代产品提供了 2 倍的 FLOPs 和 3 倍的高带宽内存（HBM）。

• 边缘 AI 和边缘/云协作将获得更多关注。这里有一个有趣的事实：全球计算能力（以 FLOPs 衡量）中，不到 1% 由超大规模提供商拥有。虽然这乍看之下可能令人惊讶，但当你考虑到包括笔记本电脑和智能手机在内的边缘设备数量时，这就说得通了。释放这种潜在的计算能力可能会成为改变游戏规则的关键。我们已经见证了可以在边缘设备上部署的小型语言模型（SLMs）的爆发。

• • 一些专家认为，最终可以将高达一半的 AI 工作负载从云端转移到边缘。我见过的一个早期想法是构建一个云/边缘路由器，可以根据功耗、成本和延迟要求等标准动态地在云端和边缘设备之间路由 AI 工作负载。最后，边缘 AI 还可以通过减少发送到云端进行处理的数据量来帮助推测性解码。

• 中国在 AI 领域的跟进。围绕 AI 芯片的出口管制可能会在短期内阻碍中国的进展。但从长远来看，这可能会迫使中国在基础设施和模型方面更具创新性。例如，最近有报道称，中国已经在多个数据中心和 GPU 架构上训练了一个单一模型，这是首次有国家这样做。尽管计算能力有限，中国的 LLM 已经证明他们可以与最好的闭源模型竞争。特别是，阿里巴巴的 Qwen 模型和 DeepSeek 模型已经显示出它们可以与西方的 GPT-4o 等模型相匹敌。这表明，尽管硬件限制可能带来一些挑战，但中国实验室正在找到解决办法，并继续保持跟进。

• AI 对可持续性的影响：超大规模企业到 2030 年已做出气候承诺。例如，微软设定了到 2030 年实现碳负排放的雄心勃勃的目标。然而，AI 能源消耗的快速增长正将这些承诺推向错误的方向。例如，微软最近报告称，自 2020 年以来，二氧化碳排放量增加了近 30%，主要由数据中心扩张推动。同样，谷歌 2023 年的温室气体排放量比 2019 年高出 50%，很大程度上也是由于 AI 数据中心。我们认为，这一趋势将迫使企业决策更加关注可持续性。从长远来看，那些希望了解 AI 的人也需要了解能源市场。

III. 值得关注的初创公司：

• AI 云和计算：