LLM实施的五个阶段

原文地址：Five Stages Of LLM Implementation

大型语言模型显着提高了对话式人工智能系统的能力，实现了更自然和上下文感知的交互。这导致各个行业越来越多地采用人工智能驱动的聊天机器人和虚拟助手。

2024 年 2 月 20 日

介绍

从LLMs的市场采用情况可以清楚地看出，LLMs工具的开发远远领先于LLMs的实施；由于显而易见的原因，现实世界中的客户面临执行滞后。

从工具的角度来看，大部分关注和考虑都集中在LLMs第 4 阶段，但很快组织就会了解到，任何成功的人工智能实施都需要成功的数据策略。因此，LLMs第 5 阶段将受到更多关注。

当LLM实现从第一阶段转移到第二阶段，从设计时使用转移到运行时使用时，人们认识到数据需要在推理时传递给LLM 。

大量研究强调了情境学习 (ICL)的重要性，因此注入高度简洁、简明且情境相关的数据提示的重要性。

将LLMs投入生产

我最近在 LinkedIn 上询问将LLMs投入生产面临的挑战是什么，以下是提出的前五个问题。这些担忧之所以存在，是因为 LLM 主要由 LLM 提供商托管并通过 API 提供。

使用商用 API 引入了几乎无法管理的操作组件。

理想的情况是组织在本地安装了可以使用的LLMs。但这带来了大多数组织无法解决的挑战，例如托管、处理能力和其他技术需求。

是的，有“原始”开源模型可用，但这里的障碍又是托管、微调、技术专业知识等。

这些问题可以通过使用小语言模型来解决，在大多数情况下，这对于对话式人工智能的实现来说已经足够了。

LLM 颠覆：第一阶段

AI 辅助和加速 NLU 开发

LLM 实施的第一阶段侧重于机器人开发过程，特别是加速 NLU开发。

真正导致LLM 第一阶段 中断的原因是 LLM 功能是在设计时而不是运行时引入的。

这意味着推理延迟、大量使用、成本和 LLM 响应偏差等元素可能仅限于开发，而不会在生产环境中暴露给客户。