Gartner《生成式人工智能系统的解决方案路径》学习心得

2025年，Gartner发布了《 Solution Path for Implementing Generative AI Systems》

核心观点

• GenAI 实施现状与挑战 ：许多组织在实施生成式人工智能（GenAI）时过程混乱，因技术组件不成熟、不稳定且不可靠，分布式、跨职能的 AI 团队在构建、部署和启用成功的 GenAI 系统方面面临困难。GenAI 应用涵盖多种部署模型，包括商业解决方案和定制解决方案，每种都需要不同的技能组合。目前许多在开发中的 GenAI 应用距离生产就绪还很遥远，存在成本高、输出差、数据泄露、幻觉、扩展不足和性能不一致等问题，会侵蚀用户信任，需要 AI、软件工程、数据、安全以及基础设施和运营（I&O）团队等多技术团队解决。

• 成功实施的关键因素 ：成功的 GenAI 实施需与价值生成、治理、复用和整个组织的 GenAI 能力民主化等最终目标保持一致。需通过结构化的流程来实施构建和购买的 GenAI 解决方案，正式化该流程需要产品和平台团队的大量输入，包括分析专家。

• 技术与人才要求 ：GenAI 技术复杂，要求从业人员具备不同以往机器学习的新技能，如提示工程、RAG 管道等。且随着领域快速发展，跟上其速度和变化对技术专业人士来说极具挑战，需分块学习、小组学习、实践项目等来提升对 GenAI 的理解和能力。

Solution Path 介绍：

详细步骤

• Step 1: Launch（启动）

  • Prework（前期准备） ：

    • 获取组织批准 ：需获得业务领域领导、法律、隐私、安全、软件工程和数据部门等多方相关方的批准，他们有不同的需求和优先级，可能对最优先投资的 GenAI 项目意见不一。要与相关方和领导合作，确定用 GenAI 解决的真实问题。

    • 领导层批准 ：争取高层管理人员支持，对确认项目在组织中的重要性和优先级至关重要。

    • 法律和隐私审查 ：与法律和隐私团队合作，确保项目或产品符合所有相关法律和公司政策，包括数据使用、知识产权保护和用户同意等方面，特别是敏感信息处理。

    • 安全团队输入 ：与安全团队合作，解决潜在风险并确保有强大安全措施，包括数据保护、访问控制和风险管理。

  • Understand GenAI（理解 GenAI） ：组织在实施前需全面了解 GenAI 的演变、可能性、复杂性和局限性，包括其核心概念、组件、实现方法等，这有助于构建正确策略和设定合理期望。可参考 Gartner 的相关研究报告来深入了解 GenAI 的各个方面。

  • Assess skill sets for executing GenAI projects（评估 GenAI 项目执行所需的技能集） ：根据组织选择的部署模型，GenAI 需要不同的技能集。内置 AI 或 BYOAI 场景下，需集成、配置、治理和管理系统的技能；构建 AI 场景下，需深入理解 GenAI 系统的技能 。且敏捷团队需具备 API 集成、数据科学软件开发、数据工程、安全和云基础设施等核心技能，以及软件工程、数据工程、云基础设施和运营、身份管理和安全等新技能领域。

• Step 2: Pilot（试点）

  • Understand GenAI business use cases（理解 GenAI 业务用例） ：通过一系列 POC（概念验证）实验工具和技术，验证在构思过程中确定的业务用例的可行性，这是战略投资交付 GenAI 平台之前的关键步骤。需定义业务用例类别，并与 GenAI 野心对齐，确定对组织最有用的 AI 能力。常见的 GenAI 用例包括客户 / 员工互动、内容生成、AI 代理 / 助手和开发人员生产力等。

  • Implement the pilot GenAI solution（实施试点 GenAI 解决方案） ：根据业务用例，组织需开发可试点的 GenAI 解决方案来评估假设。构建场景下，可实施简单 RAG 系统；购买场景下，可在现有应用能力上开发 RAG 解决方案。需具备构建 LLM 驱动应用的技能。

  • Evaluate outcomes（评估结果） ：评估是 GenAI 系统开发的重要且具挑战性部分。对于构建或购买的系统，可能需要多种评估类型，如系统、组件、试点项目、生产 / 影响和项目评估等。在试点阶段，需避免构建过多评估，但要收集反映 AI 系统质量 / 性能、改进机会的输入。

  • Scale pilots to evaluate implementation, tools and technologies（扩展试点以评估实施、工具和技术） ：AI 架构师通常需评估大量 GenAI 用例、技术和解决方案，需同时评估工具、技术和策略。根据技能集、设计灵活性、成本和时间线等因素选择实施方式，决定构建还是购买。

• Step 3: Productize（产品化）

  • Build, buy or embed GenAI applications（构建、购买或嵌入 GenAI 应用） ：经过试点阶段并验证 GenAI 解决方案的结果后，组织需要构建、购买或嵌入 GenAI 应用。要了解简单解决方案的逻辑层，如基础模型、微调等。且在构建 LLM 驱动应用时，需克服选择正确组件、构建 LLM 驱动功能、评估 LLM 输出、持续改进应用等挑战。

  • Build GenAI processes and operating models（构建 GenAI 流程和运营模式） ：在大型组织中，AI 架构师需从交付角色转变为标准化和改进角色，指导流程、运营模式、治理和扩展。可设立 GenAI 卓越中心（COE），作为与业务合作伙伴互动的赋能团队，创建实施企业级 GenAI 战略的标准和实践。COE 的职责包括推动 GenAI 实施、构建标准设计模式、与基础平台团队合作构建可重用服务、提供 GenAI 成本和价值优化的最佳实践等。

  • 

  • Build platforms that offer common service abstractions（构建提供通用服务抽象的平台） ：平台团队需与合作伙伴和相关方合作，了解多层技术栈的关键需求，定义和交付平台内的“即服务”能力。需处理诸如有效配置平台资源、组织人员开发和运营新 GenAI 服务和应用、从多个独立开发和交付流水线部署等挑战。正确的服务抽象很关键，早期 GenAI/AI 开发可能需要较少服务，随着 GenAI 实施扩展，平台投资扩展至关重要。

• Step 4: Scale（扩展）

  • Refine GenAI governance（完善 GenAI 治理） ：GenAI 治理框架需考虑多个问题，如如何在保持复用、效率和数据资产治理的同时，允许业务部门更敏捷地自主开发和 / 或实施 GenAI 产品等。需使用治理委员会编写和执行 TRiSM 实践，随着 AI 计划规模扩大，还需使用 TRiSM 技术来机械化 AI 政策，如防止 AI 访问敏感数据、检查输出和过滤不当内容等。

  • Implement and improve value measurement（实施并改进价值测量） ：价值测量需不断细化，可将 GenAI 投资视为投资组合，与同行一起调整投资规模。需对使用案例的雄心和预期收益进行分类，并投资变革管理以确保获得收益。可参考 Verizon 的使用案例价值框架，从采用监控、性能监控和业务成果的领先指标等维度进行评估。

  • Enhance AI engineering capabilities（增强 AI 工程能力） ：大规模 AI 工程需要在整个技术堆栈中进行能力投资，以实现个体层面、运营和流程层面以及业务层面的改进。需构建具备组合 AI、复杂数据预处理、连接的元数据丰富数据服务等特性的 AI 工程能力，且某些学科是规模独立的，需要许多技术团队继续致力于构建有效的 AI 系统。

  • Continuously enhance the GenAI architecture and product portfolio（持续增强 GenAI 架构和产品组合） ：GenAI 系统大多处于起步阶段，AI 架构师需不断改进 GenAI 架构，如实施基于 LLM 的代理模式、利用 SLM、知识图谱等改进 GenAI 系统、部署先进的 GenAI 安全、增强 GenAI I&O 战略的稳健性等。

  • Improve GenAI evaluations（改进 GenAI 评估） ：从原型过渡到可靠的生产解决方案需要严格的评估，包括计算性能指标、了解特定失败并迭代模型参数。设计 GenAI 评估策略时，需识别需要测试的具体内容，避免将 GenAI 系统视为通用解决方案，要分析 AI 工作流程的全局和局部元素，定义“好”的标准，可使用真实数据评估，也可采用合成测试数据。评估时可综合运用人类评估者和机器评估器，如 LLM 作为法官、基于嵌入的评估等。

• Step 5: Democratize（普及化）

  • Drive effective change management and GenAI adoption（推动有效的变革管理并促进 GenAI 采用） ：组织常低估变革管理对成功采用 GenAI 的必要性。领导团队对采用便利性的期望与人类实际采用技术的体验大相径庭，可能导致变革疲劳。为增加 GenAI 应用采用率，GenAI 赋能团队需帮助用户管理变革，采用多种变革管理技术，如介绍性培训课程、反馈会议等。

  • Embed GenAI products and platforms throughout the organization（在整个组织中嵌入 GenAI 产品和平台） ：除了优化外，要实现 GenAI 普及化，需使多个开发团队能够实施解决方案而不依赖中央 GenAI 团队。可构建 AI 入职能力，链接到云最佳实践，采用正确的财务管理实践，如选择战略提供商、添加战术提供商、决定工作负载放置位置等，以优化 GenAI 成本。

其他关键内容

• GenAI 部署模型 ：包括嵌入式 AI、构建式 AI 和自带 AI（BYOAI），不同模型对技能要求不同。组织需根据自身情况选择合适的部署模型，如嵌入式 AI 通常由软件供应商集成到企业应用中，构建式 AI 是由组织内部团队开发，BYOAI 是各部门采购和使用的封装 AI 软件和能力。

• GenAI 用例 ：Gartner 提供了多种行业的 GenAI 用例比较工具，如银行业的 GenAI 用例比较、政府联络中心的 GenAI 用例比较等，帮助组织了解行业动态并确定最有用的 AI 能力。

• GenAI 技术挑战 ：LLM 驱动的应用面临成本高、响应慢、不可靠等问题，其不可预测性、脆弱性和非确定性使得开发和部署更具挑战性，即使是小的提示更改也可能显著改变模型性能，且难以理解原因。

• AI 治理与安全 ：需将法律、风险管理和合规部门等整合到 AI 治理框架中，使用 TRiSM 技术来强制执行 AI 政策，如防止 AI 访问敏感数据、检查输出等。AI 安全平台可用于启动 AI 安全策略，需考虑 GenAI 采用的顶级安全威胁和风险，如数据泄露、模型中毒、提示注入等，并采取相应的缓解措施。