生成式 AI 成熟度模型：您的企业是否已做好准备？

本文链接：https://blog.csdn.net/qingkahui24689/article/details/144555147

随着生成式人工智能（Generative AI）的兴起，企业如何在技术浪潮中把握机会并实现成熟落地成为一个关键问题。Google AI 总监 Ali Arsanjani 在他的文章《生成式 AI 成熟度模型》中，提供了一个全面框架，帮助企业评估其在 GenAI 发展旅程中的位置，并为未来的业务增长提供战略指导。

什么是生成式 AI 成熟度模型？

Ali Arsanjani 提出了一个七个阶段的生成式 AI 成熟度模型，用于帮助企业从基础的数据准备到高度复杂的多智能体系统，逐步迈向 AI 成熟度的巅峰。

七个成熟度阶段概览

Level 0: 数据准备

重点在于数据的获取、清洗、转换和整理。数据是生成式 AI 的基础。

Level 1: 选择模型与提示工程

选择合适的大语言模型（LLM），通过设计有效的提示与模型交互。

Level 2: 检索增强生成（RAG）

结合内部或外部数据，提升生成内容的准确性与相关性。
高级阶段包括动态检索和知识图谱支持。

Level 3: 模型调优

使用特定领域数据对 LLM 进行微调（如 LoRA、监督微调、RLHF 等）。

Level 4: 基于搜索与引用增强输出

通过内部或外部验证，确保生成内容具有事实依据与高可信度。

Level 5: 基于多智能体系统

多个 AI 模型在中心化的 LLM 编排下协同工作，处理复杂任务。

Level 6: 高级多智能体与增强推理

结合 Tree-of-Thought 和 ReAct 等先进技术，实现 AI 的自主规划与决策。

为什么成熟度模型很重要？

企业可以利用生成式 AI 成熟度模型：

评估当前能力：找到自身的起点与不足。
定义业务目标：明确期望的 AI 发展水平。
制定路线图：指导技术投资、人才培养和流程优化。

行业应用：横向与垂直领域

横向领域

营销与销售：提供个性化内容，优化市场策略。
客户服务：通过 AI 聊天机器人自动化支持流程。
人力资源：简化招聘、入职和培训过程。

垂直领域

医疗保健：支持药物研发与个性化治疗方案。
金融行业：优化投资建议与风险管理。
零售业：提供精准推荐与定价策略。

关键行动步骤

识别关键业务成果与 KPIs。
将目标映射到成熟度级别。
评估当前技术能力与差距。
制定过渡路线图，逐步提升 AI 成熟度。

Ali 强调，通过 Google Cloud AI 等平台，企业能够高效实现技术升级，最大化生成式 AI 的业务价值。

生成式 AI 的成熟之路是一段需要战略思考与持续投入的旅程。从数据准备到高级多智能体系统，企业在不同成熟度阶段的能力差异显而易见。借助 Ali Arsanjani 的框架，组织能够逐步实现技术与业务的深度融合，从而在数字化时代立于不败之地。

生成式 AI 成熟度模型：您的 AI 企业是否已做好准备？

摘要

通过对数百个项目、客户及合作伙伴的观察，我们发现了一些显著的增长和成熟趋势。生成式 AI 的成熟度模型反映了这些趋势，并提出了一个框架，明确划分了生成式 AI 解决方案在七个不同成熟度阶段的逐步发展过程。

您的 AI 企业是否已做好准备？
通过对数百个项目、客户及合作伙伴的观察，我们发现了一些显著的增长和成熟趋势。生成式 AI 的成熟度模型反映了这些趋势，并提出了一个框架，明确划分了生成式 AI 解决方案在七个不同成熟度阶段的逐步发展过程。

通过使用这样的成熟度模型，组织可以清晰了解自身在 GenAI 成熟度模型中的所处阶段，并制定针对性策略，以提升组织能力并实现其业务目标。该评估结果还能够指导其在技术投资、人才招募和流程优化等方面做出更明智的决策，确保其 GenAI 应用旅程更加成功并与业务能力高度契合。

注意，GenAI Reference Architecture 详细说明了这些组件在每个成熟度水平上的技术细节。

为使技能和内部能力与目标商业成果保持一致，企业和组织可以客观评估其在 GenAI 成熟度模型中的当前位置，然后审视其期望实现的商业成果，并评估达到目标所需的条件（即未来的成熟度状态）。从技术层面进行考量，企业和组织能够更好地将其计划、技能开发、赋能以及构建或购买决策，与支持其转型以实现目标商业成果的成熟度水平对齐。

您可以按照以下方式进行此类评估：

识别关键业务成果： 组织应首先明确定义借助 GenAI 的实施希望实现的具体业务目标，并确定用于衡量这些目标的关键绩效指标（KPI）。这些目标可能包括改善客户服务、实现流程自动化、优化决策流程或开发新产品和服务等。

2. 将成果映射到成熟度级别： 在明确预期成果和关键绩效指标（KPI）后，组织可以将其对应到成熟度模型中的相应级别。例如：

Level 0： 如果组织的主要目标或能力是为未来的 GenAI 活动收集和整理数据，则可被视为处于成熟度模型的 Level 0 阶段。数据无疑是推动 AI（无论是预测型 AI 还是生成型 AI）发展的基础构成。
Level 1 & 2: 如果重点在于使用 GenAI 执行诸如内容生成、内容摘要、利用基础能力和生成式 AI 模型的知识进行问答，或进行信息检索等基本任务，那么该组织可能处于成熟度模型的第 1 至第 2 阶段。
第 3 级与第 4 级：希望通过自身数据定制生成式 AI 模型或确保输出的质量和关联性的组织，可能位于第 3 级或第 4 级。
第 5 级与第 6 级：对于需要多智能体系统、复杂推理能力或负责任的 AI 实践的复杂应用场景，组织的目标可能定位在第 5 级或第 6 级。

3. 评估当前能力：
组织接下来应评估其当前能力，重点包括数据基础设施、模型选择、提示算法设计、模型调优、模型评估，以及多智能体系统的基础设施等关键领域。评估可通过内部审计、外部咨询，或对照行业标准进行基准测试进行。

4. 确定差距和机遇： 通过将其预期成果与现有能力进行比较，组织能够识别出其在 GenAI 成熟度方面的差距。这些差距表明了需要进一步投资和发展的领域，以实现预期目标。此外，他们还可能发现利用现有优势以加速进展的潜在机遇。

5. 制定路线图：
基于评估结果，组织可以制定路线图，明确弥合差距并实现预期业务成果所需的步骤。该路线图应优先考虑与战略目标一致的举措，并有效分配资源。有关战略与投资回报以及路线图第一部分和第二部分的指导，请参阅 GenAI 路线图。此外，为了了解在推进更高成熟度时需要实施的具体组成部分，请参考GenAI 参考架构。

GenAI 之旅

GenAI 能够增强数据策略、数据处理流程、数据共享，以及预测型 AI 在端到端应用中的实施。GenAI 是一个旅程，这一过程从基础的第 0 级开始；重点在于获取或生成、整理和准备数据，这些是 GenAI 模型的核心基础。这包括收集海量数据集，对其进行清洗与后处理，并确保数据在质量和相关性方面能够满足模型训练的需求。

进入第 1 级阶段，组织需要选择合适的 GenAI 模型，并设计有效的 Prompts 来与其交互。Prompts 是引导模型输出的文本输入，选择正确的模型和 Prompts 对于实现预期结果至关重要。此外，本阶段还包括对这些模型的部署，使其能够支持特定任务的应用。

当我们进入第 2 层时，复杂性随着通过 GenAI 模型进行的信息检索而有所增加。这表明交互更加复杂深入，模型通过查询从其庞大的知识库中提取特定的洞见或数据。

第 3 层涉及使用专有或领域特定数据对 GenAI 模型进行微调。微调是一个将预训练模型适配到特定任务或领域的过程，可提升其性能并提高模型的定制化能力。这使得组织能够定制化模型以满足其独特的需求和要求。

在后续阶段，通过对输出进行落地验证和输出评估，进一步完善模型，以确保其准确性、相关性和伦理符合性。引入多智能体系统，其中多个 GenAI 模型在 LLM 的协调控制下开展协作。这有助于解决需要多种能力协调和整合的复杂任务。可观测性和 LLMOps 变得尤为重要，以确保模型行为的透明性，并优化 GenAI 生命周期的运营流程。

请注意，在更高的成熟度水平上，可以采用一些先进技术，例如 Tree-of-Thought (ToT) 、Graph-of-Thought (GoT) 、DSPy 、自我校正 (self-correction) 和 ReAct ，以提升生成式人工智能 (GenAI) 模型的推理、规划和行动能力。这些技术能够实现复杂的决策制定和问题解决能力，进一步拓展生成式人工智能的潜能边界。

GenAI 成熟度模型——一个通过不断提升精密性与高级化，传递更高业务价值并实现具体业务成果的旅程
该成熟度模型图表展示了生成式人工智能（Generative AI）解决方案在七个成熟度和复杂性层级上的逐步演进。

注意，在各个成熟度级别（行）之外，您可以将这些级别的组成部分视为按照列进行分组，这些列支持该特定领域不断提升的专业化程度，例如 RAG 或 Modeling Tuning。

让我们将 GenAI 的每个成熟度级别分解为其组成元素。同样，请参考 GenAI Reference Architecture 以更深入地解析各组成部分。

GenAI 成熟度模型：复杂性的层级

该成熟度模型描述了生成型人工智能（GenAI）解决方案复杂性逐步提升的路径，从基础的数据准备和模型选择起步，逐步提升至微调、评估，最终达到多代理系统、先进推理能力以及负责任 AI 实践的成熟阶段。

Level 0: 准备数据

该基础阶段专注于获取或创建必要的数据集，并确保数据集的质量和适用性，以支持基于 GenAI、LLM 或 Agent 的应用程序。这包括数据采购、清理、准备、获取使用许可、生成合成数据，以及进行数据工程与转换相关的活动。

Level 1: 选择模型与提示：提供模型服务

这是最简单的级别：选择一个 LLM（大型语言模型, Large Language Model）并为其设计提示。处于这一阶段的组织已经确定了合适的模型，并能够制定有效的提示以与模型交互。他们还能够利用这些模型完成通常由提示工程驱动的特定任务。需要注意，相同的提示在不同的 LLM 上可能无法产生预期效果。

模型选择、提示工程和信息检索： 整个过程始于根据具体任务选择合适的大语言模型（LLM），并使用专有数据对其进行微调。有效的提示工程旨在引导模型的行为，而信息检索机制则从内部知识库中提取相关信息。该检索步骤通常借助企业级搜索功能来实现，使模型能够访问组织内部资源中的相关文档与数据。

请注意，in-context learning 和multi-shot learning 可能为模型调优提供潜在的改进方案。详见“模型调优”章节。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

第二级：检索增强（Retrieval Augmentation）——检索信息以补充提示

在前一级的基础上，本阶段需要通过 GenAI 模型检索相关信息。这表明与模型之间的交互更加复杂，以便提取特定的洞察或数据。

在这一阶段，重点转向使用专有数据或特定领域的数据对 GenAI 模型进行微调。以此提升模型性能，并更好地定制化以满足特定需求。
检索增强生成（Retrieval Augmented Generation，简称 RAG）是一种框架，将信息检索系统与 LLMs 结合，以生成更加准确且信息丰富的响应。RAG 的复杂性可根据检索以及集成机制的复杂程度划分为不同级别。

RAG，即基于检索的生成： 在从内部来源进行初步检索后，RAG 利用与 Google 类似的外部搜索功能，例如 Vertex AI grounding services 提供的功能。这包括查询外部知识库、互联网及其他相关来源，以获取额外信息，从而增强生成结果的准确性与语境相关性。结合内部与外部的检索机制，确保全面掌握主题相关的知识维度。

需要注意的是，检索增强（Retrieval Augmentation）本身包含多个复杂层次。下面将对其进行逐一探讨。

层级 2.1：简单检索与生成

在这一基础层级，RAG 会基于用户查询，从知识库或语料库中检索相关文档或段落。检索到的信息随后直接传递给 LLM，LLM 使用这些检索内容作为上下文生成响应。这种方法相对简单直接，但可能并不总能生成最准确或最相关的结果，因为它完全依赖于 LLM 理解和综合检索信息的能力。

Level 2.2: 上下文检索与生成

该层级旨在引入更复杂的上下文检索机制，以考虑用户查询的语境。与仅基于关键词匹配检索文档的方式不同，这一机制可能采用诸如语义搜索（semantic search）或查询扩展（query expansion）等技术方法，以更精准地识别相关信息。此外，检索到的信息可以基于其相关性或重要性进行过滤和排名，随后再交由 LLM 处理。通过向 LLM 提供更集中且符合上下文相关性的信息，该过程能够更好地优化生成回复的质量。

Level 2.3: 动态检索与生成

本阶段进一步深化对 RAG 技术的运用，通过在生成过程中实时动态检索信息。相较于先行一次性检索所有相关信息，LLM 可根据实际需要逐步请求补充信息，以生成更全面、准确的回答。此方法能够支持更细致、更具互动性的对话，LLM 能够主动检索额外信息，以澄清模糊之处或弥补知识空白。

Level 2.4: 多源检索与生成

这一高级阶段涉及从多个来源（如不同的知识库、数据库乃至实时数据流）中检索信息。挑战在于如何有效整合多源信息，这些来源之间可能在格式、结构或可靠性水平上存在差异。这需要运用复杂的检索与信息融合技术，以确保生成的响应具备一致性、准确性和时效性。

2.5 级别：知识感知式生成

在这一最成熟的层次中，RAG 利用知识图谱或其他形式的结构化知识表示，以进一步提高 LLM 对获取信息的理解能力。这使得 LLM 能够基于获取的知识进行推理，识别并推导概念之间的关系，从而生成更加信息丰富且富有洞见的回答。这种方法特别适用于需要深厚领域知识或复杂推理能力的任务。

第 3 层：使用特定领域数据对模型进行调优

该阶段包括用于调整模型的方法，例如参数高效微调 (parameter-efficient fine-tuning)、基于人类反馈的强化学习 (RLHF)、监督微调 (SFT) 和完整微调 (FFT)。随着模型成熟度的提升，可以逐步采用更加复杂的优化方法。

了解如何使用Google Vertex AI 调整您的模型，并探索多种灵活选择。

这使得模型可以基于特定行业或领域的数据进行训练。每个组织的核心竞争力在于其多年来运营过程中积累的私有数据，这些数据通常在该垂直领域中具有独特价值。对于特定垂直领域（如零售、医疗保健、金融服务等），训练能够熟悉该领域术语、本体实体以及数据中所包含的一般知识的模型或一组模型是十分重要的。

细调 AI 模型涉及从简单的上下文调整到高级强化学习等方法，其复杂性和应用场景各异。以下是按成熟度和复杂性依次排列的这些方法的详细概述：

3.1. In-Context Learning (ICL)

成熟度等级：基础
相对代价：低
所需数据量：最小化（Zero-shot 或 Few-shot 示例）
描述：模型仅基于提示信息中提供的上下文进行预测，其参数不会更新。模型依赖于其预训练阶段学习到的知识。
用例：基于给定示例或提示，快速高效地生成文本或其他输出。特别适用于需要快速适应而无需重新训练整个模型的场景。

3.2. 多样本（使用大语境窗口）

成熟度水平：中级
相对成本：中等
所需数据量：小到中等（从少样本到多样本，涵盖较大的语境窗口）
描述：此方法基于标准的语境内学习，通过利用极大的语境窗口，使模型能够处理提示及周围文本中大量的信息。这不仅增强了模型对复杂任务的理解能力，还支持多样本语境内学习，即模型能从语境窗口内所提供的多个示例中进行学习。
用例：适用于需要深度语境理解的任务，如：
长篇文本生成
复杂问题解答
文档摘要生成
多步推理任务
通过多个示例指导模型输出的任务

根据 DeepMind 的研究，关于“多样本语境内学习”表明，当语境窗口内提供的示例数量增加时，性能实现了显著提升。这体现了大语境窗口不仅在改进理解能力方面的潜力，还能够让模型高效地从多次示例演示中学习。

3.3. 预训练小型语言模型

成熟度级别: 中等水平
相对成本: 中等
所需数据规模: 中等到大型（视模型规模和目标性能而定）
描述: 此过程涉及从零开始训练小型语言模型或在有限的数据集上进行训练。这些模型通常应用于特定领域的场景，因为计算资源限制或领域特定需求使得大规模通用模型不切实际。
用例：适用于具有特定词汇的专用领域任务或计算资源有限的场景，还可以作为进一步微调或适配的基础。

3.4. 适配器微调

成熟度水平：中级
相对成本：低到中等
所需数据量：小到中等（与任务相关的数据）
描述：该技术在预训练语言模型中引入了小型的可训练适配器模块。这些模块专为在新任务上进行微调而设计，同时保持预训练模型的大部分参数冻结不变。这样能够实现高效的任务特定适配，并且所需的计算开销非常低。
适用场景：理想用于在有限资源下将大型模型适配于特定任务。在保持原始模型效率和知识的前提下，支持快速且针对性的微调。

3.5. 低秩适配（Low-Rank Adaptation, LoRA）

成熟度水平：中级至高级
相对成本：中等
所需数据量：小至中等（任务特定数据）
描述：LoRA 通过调整模型权重矩阵的低秩逼近来进行微调。这显著减少了可训练参数的数量，使其相比完全微调更加高效。
用例：适用于诸多任务，包括自然语言处理和计算机视觉领域，可在无需全部参数训练的计算成本下，将大型模型调整为特定任务。

3.6. 其他参数高效微调方法

成熟度等级：中级到高级
相对成本：中等
所需数据规模：小到中等（任务相关数据）
描述：这一类别包括诸如 prefix-tuning、prompt-tuning 和 bitfit 等多种技术。这些方法的目标是通过仅调节模型的一小部分参数或输入来完成微调，从而显著降低计算负担。
用例: 适用于快速适应新的任务或情境且计算资源有限的情况。这些方法在效率和定制模型行为的能力之间提供了平衡。

3.7. 领域特定预训练

成熟度水平: 高级
相对成本: 高
所需数据量: 大（领域特定语料库）
描述: 该方法需要借助特定领域的大型文本语料库对模型进行预训练，例如法律、医学、金融等领域。从而使模型能够捕捉到该领域特有的细微差异、术语及知识体系。
使用场景：在特定专业领域中非常具有独特价值，因为通用模型可能缺乏必要的领域专长。可作为进一步针对该领域的微调或适配的起点。

3.8. 监督式微调

成熟度：高级
相对成本：高
所需数据规模：大（需要标注的任务特定数据）
描述：这是经典的微调方法，即使用特定任务的标注数据集对整个模型进行训练。所有模型参数均会被更新，以优化在该任务上的性能表现。
用例: 非常适合拥有充足标注数据的任务，例如文本分类、情感分析、命名实体识别和问答。

3.9 完全微调

成熟度等级: 高级
相对成本: 非常高
所需数据量: 大量至非常大量（需要标注的任务特定数据）
描述: 这种方法是微调中最全面的形式，在训练新任务特定数据集时，会调整预训练模型的所有参数。
用例: 通常适用于专注于特定任务实现最大性能的场景，用户需要具备充足的计算资源和一个大型且高质量的数据集。

3.10. Instruction Tuning

成熟度水平: 高级
相对成本: 从高到非常高
所需数据量: 大（多样化且基于指令的数据集）
描述: 该方法通过对模型进行微调，使其能够理解和遵循多种指令以完成不同任务。模型通过在包括指令及其相应目标输出的多样化数据集上进行训练而实现。
用例: 提升模型对复杂指令的理解和执行能力，使其适用于通用 AI 助手、聊天机器人以及其他应用于需要灵活任务执行的场景。

3.11. 人类反馈的强化学习 (RLHF)

成熟度等级: 尖端
相对成本: 极高
所需数据规模: 可变，但通常需要较大规模的人类反馈数据
描述: RLHF 结合强化学习技术与人类用户的反馈。模型根据采取的行动与接收的反馈获得奖励或惩罚，从而进行学习，并以优化其行为使之符合人类偏好为目标。
用例: 适用于以人为偏好为核心的场景，例如对话代理、推荐系统以及其他直接与用户交互的应用。

3.12. 直接偏好优化 (Direct Preference Optimization, DPO)

成熟度: 实验性
相对成本: 极高
所需数据规模: 可变（用户偏好数据）
描述: DPO 的核心是基于用户反馈和偏好直接优化模型。这通常涉及使用梯度下降等技术，以调整模型参数，使其符合用户偏好的观测结果。
使用场景: 特别适用于用户满意度至关重要、且用户偏好可以直接测量和优化的应用场景。例如，个性化内容推荐系统和用户界面设计。

3.13. 多任务微调

成熟度级别: 高级
相对成本: 高到非常高
所需数据量: 大（多任务的标注数据）
描述: 多任务微调是指模型同时在多个相关任务上进行训练。这使模型能够利用任务间的共享知识和表征，从而有可能提升性能和泛化能力。
用例：此类用例适用于需要在多种任务中表现良好的场景，例如多领域客户服务智能系统，或需要理解语言多个层次与方面的模型（如情感分析、自然语言问答及文本摘要）。

3.14. 元学习（学习如何学习）

成熟度水平：前沿
相对成本：非常高
所需数据量：可变，通常较大（元训练数据）
描述：元学习的重点在于训练模型，使其能够利用极少的数据快速适应新任务。在训练阶段，通过在多种任务上进行训练，使模型具备高效学习“如何学习”的能力。
使用场景: 特别适用于模型需要快速适应新的任务或领域且仅有有限示例的情况，例如少样本学习场景或个性化学习系统。

3.15. 主动学习

成熟度等级: 高级
相对成本: 高到非常高
所需数据规模: 可变，通常为迭代式（初始数据量较小，随后随着模型对更多数据的查询而逐步增长）
描述: 主动学习指模型主动选择最具信息量的数据点进行标注，从而优化微调流程。
用例：在标注数据昂贵或耗时的情况下极具价值。通过专注于最相关的示例，主动学习可以显著减少有效微调所需的标注数据量。

3.16. 知识蒸馏

成熟度：中级至高级
相对成本：中等至较高
所需数据规模：中等至较大
描述：将知识从一个大型的预训练教师模型迁移到一个较小且更高效的学生模型。
用例：适用于在资源受限的设备（例如移动设备或边缘设备）上部署模型，同时保持其性能。
每种方法都代表了复杂性和资源需求逐步提升的过程，从基本的上下文调整，到涉及人类反馈与广泛参数调整的复杂技术。方法的选择取决于具体任务的需求、可用资源以及预期的性能结果。

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

第 4 级：借助搜索与引用使模型输出具有依据

在模型微调（fine-tuning）的基础上，此阶段结合了对 GenAI 输出内容的依据校验与评估。这意味着生成的内容必须确保在事实准确性、相关性及符合伦理考量方面的一致性。

在 GenAI 成熟度模型的第 4 级阶段，能力的整合重点在于通过强有力的理论验证与评估机制，确保生成结果的高质量与可靠性，并通过内部企业搜索与类似 Google 的外部搜索功能，结合 Vertex AI grounding services 提供的技术支持予以提升。

基础与评估： 从内部和外部来源检索的信息会经过一个全面的基础铺垫与评估过程。这一过程包括验证事实的准确性、识别潜在偏见以及评估信息与生成输出的相关性。Vertex AI 的基础服务在此步骤中发挥了关键作用，通过为所使用的信息提供引用和参考文献，提升生成内容的可信度和透明度。

RAG 后优化： 在模型基础化和评估流程完成后，LLM 可能会基于收到的反馈进一步优化生成的内容。此优化过程不仅确保最终的输出准确且相关，同时也由可信来源充分支持。

模型部署： 最终，经过改进和验证的模型会部署给用户使用或集成到应用程序中，提供基于验证信息的可靠且参考性强的响应。

**内部企业搜索与外部搜索（基于 Google Vertex AI Grounding）**如何提升引文与参考资料的定位效率
内部企业搜索通过高效检索组织自身知识库中的相关文档、数据和信息，起到支持作用。这为将生成的输出基于公司特定知识和专业背景奠定了可靠的基础。

类似 Google 的外部搜索，例如 Vertex AI 定位服务，通过访问大范围的外部资源，扩展了信息检索的范围。这确保生成的内容不仅限于组织的内部知识，并且结合更广领域的最新信息和见解。

当结合这两种搜索功能时，GenAI 系统能够从内部及外部来源获取引文和参考资料，从而提升生成内容的可信度与可靠性。通过这种后 RAG 基础奠定与评估过程，可以确保最终输出不仅具有信息性，而且值得信赖且透明。

第 5 层级：基于智能体的系统

这一高级层级引入了多智能体系统，其中多个 GenAI 模型在一个中心化的大型语言模型 (LLM) 的协调下协同工作。这使得需要协调和整合多种能力的复杂任务得以完成。此外，还特别强调了可观察性（观测和理解模型行为）以及 LLMOps（对 GenAI 模型生命周期的运营化管理）。

在 GenAI 成熟度模型的第 5 阶段，多个关键能力相互融合，形成一个复杂的系统，为向基于代理和多代理系统的演进奠定了基础。
模型选择、提示工程与信息检索： 这一过程始于根据特定任务选择合适的 LLM 模型，并使用专有数据对其进行微调。有效的提示（或重新提示）设计对模型行为起到了指导作用，而信息检索机制则从多种来源提取相关信息，从而扩充大型语言模型（LLM）的知识库。在提示工程中，可以引入更多高级方法，例如上下文学习（In-context learning）、链式思维（Chain-of-thought）、具有清晰步骤的格式化以及类似 XML 的结构；或者进一步采用更复杂的技术，如思维轮廓（outline-of-thought）、思维树（tree-of-thought）等，并将其与 ReAct 框架结合。ReAct 框架可评估大型语言模型生成的结果，对观察到的输出进行推理，随后重新生成内容，最终采取实际行动。因此，第 5 阶段的复杂性不仅体现在使用 LLMOps 和基于代理的架构中，还包括对高级提示工程技术的深入应用。

通过 LLM 实现编排： 第五级所引入的核心创新或新增功能之一是引入一个作为中央编排器的 LLM。该 LLM 充当指挥者的角色，协调其他模型或组件的操作步骤。它分派任务、管理通信，并整合来自不同模型的输出，最终形成一个连贯的工作流程。这是朝向基于代理系统迈出的初步阶段，在该系统中，各模型可以被视为具有特定功能的代理。

基础和评估：
在第 4 级的基础上，基础机制继续被应用以确保生成输出的质量和可靠性。这些机制用于将信息与可靠来源进行验证，并评估响应的潜在影响。评估流程负责监测系统的性能，并提供反馈以促进持续改进。

评估、可观测性与 LLMOps
为 GenAI 参考架构的每个组件引入正式化和全流程的可观测性与评估机制，是第 5 阶段的重要组成部分。
对架构中各组件（例如 prompts、RAG 输出、Tuned Model 的漂移或偏差、grounding output 等）的 LLM 生成内容进行持续评估和监测，对于评估生成内容和确保系统性能至关重要。
可观测性提供对 LLM 行为的洞察，支持主动调整。LLMOps 实践优化了整个 GenAI 基础设施的部署、管理和监控。

Agent-Based vs. Multi-Agent Systems

让我们区分这两个概念。

Agent-based systems: 涉及单一的 LLM 作为代理，执行任务、进行决策并与其环境交互。LLM 可被视为一种具备多种能力的单一实体。
多智能体系统： 由基于 Agent 的系统演变而来，通过引入多个专门化的 LLM（大语言模型）。每个 LLM 作为一个独立的智能体，具有特定的职责或专业能力。这些智能体通过协作、沟通与协调其行动，旨在解决单一智能体无法高效应对的复杂问题。

第 5 层作为迈向多代理系统的重要奠基石，通过建立协调多模型的基础性基础设施，使组织能够探索将不同任务分配给特定模型的方法，并对其性能进行评估。这一探索为开发更复杂的多代理系统奠定了重要基础，使技能互补的多样化模型能够协同工作，共同实现共同目标。

第 5 级为从单一化的 LLM 模型向由专业化代理构成的网络转变奠定了基础，每个代理充分发挥其独特优势，以应对日益复杂的挑战。这一转变有望激发生成式人工智能（GenAI）领域全新的效率、适应性与创新水平。

第六级：多代理增效器

成熟度的顶点涉及利用诸如 Tree-of-Thought（思维树）或 Graph-of-Thought（思维图）等高级技术，来增强生成式人工智能（GenAI）模型的推理与规划能力。这些方法有助于提高模型在决策制定与问题解决中的复杂性和精确度。在此阶段，大型语言模型（LLM）能够协调并控制其他 LLM，展现出高度自主性与强大的 GenAI 生态系统能力。该框架着重强调责任人工智能（Responsible AI），体现了对人工智能技术伦理性与公平性使用的坚定承诺。

第 6 级代表了高度的 GenAI 成熟度，无缝集成先进技术和框架，以实现高价值能力。

基于 Tree-of-Thought（ToT）和 Graph-of-Thought（GoT）的增强推理：
第 6 级利用了 Tree-of-Thought（ToT）或 Graph-of-Thought（GoT）框架的强大功能。这些框架使 LLM 能够将复杂问题分解为更小且易于操作的步骤，系统性地探索潜在解决方案并做出明智决策。从而显著提升了 GenAI 系统的推理、规划和问题解决能力。
主动信息收集：结合 DSPY 和 ReAct： 第六层级引入了 DSPY（Demonstrate-Search-Predict）和 ReAct（Reasoning and Acting）等方法。DSPY 引导 LLM 判断何时需要检索外部信息、预测关联查询问题，并将检索所得信息融入其推理过程中。ReAct 使 LLM 能够积极与其环境进行交互，基于所收集的信息进行决策并采取具体行动。
信息检索与整合： Level 6 使用先进的信息检索技术，从各种来源（包括内部知识库和外部数据库）获取相关数据。检索的信息随后无缝地整合到 LLM 的推理过程中，为其提供最新且具有上下文相关性的知识。
使用自定义数据对模型进行微调： 利用专有数据或领域特定数据对大语言模型（LLM）进行微调，优化其性能，使其适应特定任务和应用领域。这确保了模型能够生成准确、相关且语境契合的内容。
多代理编排与控制：
第 6 级部署了一个多代理系统，其中多个 LLM 在中心 LLM 的编排与控制下协同工作。这使系统能够处理需要协调、专业化和多样化专业知识的复杂任务。
扎实支撑与评估： 采用严格的支撑和评估机制，以确保生成的输出在事实准确性、相关性以及符合伦理和安全准则方面得以保障。这包括通过可靠来源验证信息，并评估回应的潜在影响。
评估、可观测性与 LLMOps： 第 6 级强调对 GenAI 系统性能的持续评估与观察，提供对其行为的深入洞察，并实现积极调整。通过实现稳健的 LLMOps 实践，优化 GenAI 全部基础设施的部署、管理与监控流程。

第 6 级代表尖端技术与最佳实践的和谐结合，使 GenAI 系统在推理、决策和问题解决能力方面达到了无与伦比的高度。这种全方位的方法不仅确保系统功能强大，还具备可靠性、伦理性，并能够适应不断变化的需求。

横向与纵向领域分析

接下来将探讨如何战略性地 在横向与纵向领域中实施 GenAI。
企业可以通过提升效率、生产力、客户满意度和创新能力，在这些领域实现显著的投资回报率（ROI）。对于这些关键指标与 KPIs，提前识别、测量、监控并及时修正至关重要。不仅需要仔细定义目标、测量相关 KPIs，同时也需持续优化策略，以在不断发展且快速重组的商业环境中最大化 GenAI 的收益。