这篇文章探讨了谁将从生成式人工智能(Generative AI)市场中创造价值。作者分析了生成式AI技术栈,包括计算基础设施、数据、基础模型、微调模型和应用程序,找出了有利可图的领域。基于Transformer架构的大型语言模型(LLM)如GPT-4成为这一领域的基础模型。微调这些通用模型以适应特定任务和行业的需求也带来了商机。此外,基于LLM构建应用程序和编辑工具等产品是另一价值实现途径。总的来说,掌握这些关键要素的企业和新进参与者都有机会在生成式AI市场获利。
在 ChatGPT 公开发布后的几个月里，风险投资公司向生成式人工智能初创公司投入了大量资金，企业也加大了对该技术的投入，希望实现工作流程的自动化。这种兴奋是值得的。早期研究表明，生成式人工智能可以显著提高生产率1。这些提高有些来自于增强人力，有些来自于替代人力。
但问题是，谁将从这一爆炸性市场中获取价值，获取价值的决定因素又是什么？为了回答这些问题，我们分析了生成式人工智能堆栈–大致可分为计算基础设施、数据、基础模型、微调模型和应用–以确定差异化的成熟点。虽然文本、图像、音频和视频都有生成式人工智能模型，但我们在讨论中始终使用文本（大型语言模型或 LLM）作为说明背景。
1.解构生成式AI的技术实现
自从 ChatGPT 向公众推出以来，投资激增。风险投资公司正在向生成式人工智能初创公司注入资金，而公司则增加在该技术上的支出以简化其运营。人们对这项技术的热情是有道理的，因为初步研究表明生成式人工智能有潜力大大提高生产力。这些生产率的提高可能源于人力投入的增加和替代。
挥之不去的疑问围绕着谁将抓住这个快速扩张的市场带来的机会以及哪些因素有助于获取这种价值。为了深入研究这些查询，我们深入研究了生成式人工智能堆栈领域，其中包括计算基础设施、数据、基础模型、微调模型和应用程序。我们的目标是找出有潜力脱颖而出的领域。尽管存在适合文本、图像、音频和视频等各种领域的生成式人工智能模型，但我们仍将文本（特别是大型语言模型，即 LLM）作为我们讨论的中心主题。
专业的计算基础设施 – 构成了生成式人工智能技术的基础。该基础设施由高性能 GPU 驱动，用于训练和执行机器学习模型。希望开发新的生成式人工智能模型或服务的公司可以选择投资 GPU 和相关硬件，为本地 LLM 培训和执行建立必要的基础设施。然而，这种方法可能会带来经济负担且不切实际，因为可以通过 Amazon Web Services (AWS)、Google Cloud 和 Microsoft Azure 等领先的云服务提供商轻松访问等效的基础设施。
专有数据 – 生成式人工智能模型的力量来自广泛的互联网规模数据。以 OpenAI 的 GPT-3 背后的训练数据为例，它是 Common Crawl、开放网络存储库以及来自维基百科、在线文学作品和各种其他来源的数据的混合体。 Common Crawl 等数据集的合并表明在模型开发过程中需要吸收来自《纽约时报》和 Reddit 等不同网络来源的数据。此外，基础模型利用从网络爬行活动、合作伙伴关系或雪花市场等平台的数据采购中提取的特定领域信息。尽管模型的训练过程是透明的，但开发人员经常隐瞒有关其数据源来源的复杂细节。尽管如此，研究人员还是利用了即时注入攻击等策略来发现一系列数据源，这些数据源为这些人工智能模型的训练提供了动力。
基础模型 – 是在大量数据集上训练的神经网络，没有针对特定领域或任务（例如生成法律文档或提供技术产品信息）进行特定优化，在人工智能领域发挥着至关重要的作用。这些模型，例如 OpenAI 的 GPT-4 和 Google 的 Gemini，都基于 Vaswani 等人在 2017 年发表的一篇开创性论文中介绍的 Transformer 架构。虽然创建新的基础模型有潜力进入生成人工智能领域，但需要大量数据、计算能力和专业知识等重大障碍限制了高质量大型基础模型的开发。基础语言模型的著名例子包括闭源模型，例如 Meta 的 Llama-2 和阿拉伯联合酋长国技术创新研究所的 Falcon 40B，以及开源替代方案。
RAGs和模型微调 – 基础模型以其在各种语言任务中的多功能性和强大性能而闻名；然而，他们可能并不总是在特定的环境或任务中表现出色。为了提高特定于上下文的任务的性能，可能需要合并特定于域的数据。当将大型语言模型 (LLM) 用于特定目的时，例如帮助用户解决产品的技术问题，有两种可能的方法可供考虑。第一种方法涉及创建一个服务，该服务检索与用户查询相关的相关信息片段，并将该信息附加到提供给基础模型的提示中。例如，在帮助用户解决问题的场景中，这种方法需要开发代码，从产品手册中提取相关细节，与用户的问题紧密结合，并指导法学硕士根据提取的信息生成响应。这种方法通常称为检索增强生成（RAG）。虽然基础模型对其可容纳的提示长度有限制，但它们通常可以处理最多大约 100,000 个单词的提示。与这种方法相关的费用包括基础模型的 API 成本，该成本根据输入提示的大小和 LLM 生成的输出而增加。因此，从产品手册中获取的信息输入到 LLM 中的信息越多，实施成本就越高。
微调模型代表了一种替代策略，但初始计算费用更高。该方法不是简单地向模型提供产品手册中的上下文信息，而是通过利用特定领域的数据来增强基本模型的神经网络。此过程使 ChatGPT 能够处理指令并与用户进行对话。微调过程包括使用针对特定领域定制的数据集重新训练现有的基础模型，例如 Llama 或 GPT-4。
RAG 方法虽然由于模型需要冗长的提示而可能导致较高的 API 成本，但比微调更容易执行。此外，它还消除了在新数据集上重新训练神经网络所需的费用。这意味着 RAG 方法需要较低的设置成本，但在每次用户提出查询时将数据传输到基本模型时会增加可变费用。相反，微调方法虽然最初成本较高，但有望产生优异的结果，并且一旦完成，可以在将来使用，而无需像 RAG 那样为每个问题提供上下文。拥有技术敏锐度的企业可能会发现扩展生成式人工智能工具层的价值，促进微调和 RAG 等选项，无论是用于内部产品开发还是作为向其他企业提供的服务。
LLM 应用. 该结构的最上层包括可以在基础模型或改进模型上构建的应用程序，以满足特定需求。各种初创公司开发了用于生成法律文档 (Evisort)、压缩书籍和电影脚本 (Jumpcut) 或解决技术查询 (Alltius) 的应用程序。这些应用程序遵循典型软件即服务产品的定价模型（按月收费），其额外成本主要与基础模型的云托管和 API 费用相关。
最近，来自科技巨头和各级投资者的大量投资涌入。引入了许多新的基础模型，以及使用独特的数据集进行微调的特定任务模型，以获得竞争优势。此外，许多初创企业正在积极创建基于不同基础模型或定制模型的应用程序。
2.云计算的经验教训
哪些企业能从这些投资中获得最大价值？在过去的几个月里，已经有数十种基础模型面世，其中许多都能提供与更流行的基础模型相媲美的性能。不过，我们认为，基础模型市场很可能会在少数几家公司之间进行整合，就像云服务的大部分市场份额（和价值）被亚马逊、谷歌和微软等公司所占据一样。
大多数云基础设施初创企业失败（或被更大的竞争对手收购）有三个原因，这些原因也适用于生成式人工智能。首先是创建、维持和改进高质量技术基础设施所需的成本和能力。由于训练这些模型所需的数据和计算资源成本非常高昂，这就进一步加剧了 LLM 的情况。这其中就包括 GPU 的成本，而 GPU 的供应量相对于需求量来说是很低的。根据外部估算，仅谷歌 5400 亿参数 PaLM 模型最终训练运行的计算成本就在 900 万到 2300 万美元之间（总训练成本可能是这一数字的数倍）。同样，Meta 在 2023 年和 2024 年对 GPU 的投资估计也将超过 90 亿美元。此外，建立基础模型需要获取海量数据，以及大量的实验和专业知识，所有这些都可能非常昂贵。
其次是需求方的网络效应。随着围绕这些基础设施的生态系统不断壮大，新市场进入者面临的障碍也会随之增加。以 PromptBase 为例，这是一个为 LLM 提供提示信息的在线市场。这里提供最多的提示是 ChatGPT 和流行的图像生成器 Dall-E、Midjourney 和 Stable Diffusion。从技术角度看，新的 LLM 可能很有吸引力，但如果用户有大量在 ChatGPT 中运行良好的提示，而新的 LLM 却没有经过验证的提示，那么他们很可能会坚持使用 ChatGPT。虽然不同 LLM 的底层架构相似，但它们都经过了大量设计，在一种 LLM 上行之有效的提示策略在其他 LLM 上可能并不适用。同时，用户数量是源源不断的礼物： ChatGPT 凭借其庞大的用户群吸引了开发人员在其基础上开发插件。此外，LLM 的使用数据还能形成反馈回路，使模型不断改进。一般来说，最受欢迎的 LLM 会比较小的 LLM 改进得更快，因为它们有更多的用户数据可供使用，而这些改进会带来更多的用户。
第三个因素是规模经济。资源池和需求聚合带来的供应方优势将使拥有庞大客户群的本地语言托管服务的每次查询成本低于初创本地语言托管服务。这些优势包括能够从 GPU 供应商和云服务提供商那里谈判到更优惠的价格。
基于上述原因，尽管新的基础模型会定期发布，但我们预计基础模型市场将围绕几个主要参与者进行整合。
3.构建还是租用？
希望打入生成式人工智能服务市场的公司必须决定是在 GPT-4 等第三方基础模型之上构建应用，还是构建和托管自己的 LLM（要么在开源替代模型之上构建，要么从头开始训练）。在第三方模型上构建应用程序可能会带来安全风险，例如可能会暴露专有数据。使用可信的云计算和 LLM 提供商可以部分降低这种风险，因为它们可以保证客户数据的机密性，不会用于训练和改进其模型。
另一种方法是利用开源 LLM，如 Llama 2 和 Falcon 40B，而不依赖 OpenAI 等第三方提供商。开源模型的吸引力在于，它们为公司提供了对模型完整而透明的访问权限，通常成本更低，而且可以托管在私有云上。不过，开源模型目前在代码生成和数学推理等复杂任务方面的性能落后于 GPT-4。此外，托管此类模型需要内部技术技能和知识，而使用第三方托管的 LLM 则非常简单，只需注册一项服务并使用提供商的应用程序接口即可访问其功能。云提供商已开始越来越多地托管开源模型，并通过 API 提供访问权限，以解决这一问题。
由于文章篇幅有限，原文链接，请点击：
延展文章：
1. A创新指南 | 如何利用人工智能技术实现企业营销效率提升10倍（上）
2045
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
