Gartner发布AI安全和风险管理市场指南：AI安全方案四大必备功能、四层技术能力、四大市场趋势和50家代表性厂商

AI 信任、风险和安全管理市场包括四层技术能力，用于执行 AI 治理政策。最上面的两层是 AI 的新内容，正在整合成一个独特的细分市场。AI 领导者应使用本指南来了解 TRiSM 并发现示例供应商。

主要发现

• 企业面临多种人工智能风险，最担心的是数据泄露、第三方风险以及不准确或不必要的输出：

o   针对企业人工智能的恶意黑客攻击仍然很少见，而不受约束的有害聊天机器人事件却有据可查，内部过度共享数据泄露现象普遍存在。

• 分层人工智能 TRiSM 措施适用于所有类型的人工智能，从嵌入式人工智能到自主开发的代理人工智能系统，并补充传统的技术保护措施：

o   新的 AI治理和运行时执行功能正在融合，形成 TRiSM 市场的独特部分。

• 用户对生成式AI TRiSM 解决方案的需求正在稳步增长，各种规模的供应商都在争夺这一新的企业业务：

o   一些供应商专门支持安全和风险缓解，另一些供应商则支持道德或安全实践和法规遵从性。目前，没有任何一家供应商或解决方案能够解决人工智能威胁和风险的所有方面和环节。

• 人工智能信任、风险和安全问题暴露了组织孤岛问题，迫使团队重新调整以解决跨部门界限的问题。

建议

人工智能领导者和负责人工智能控制的个人必须与利益相关者合作，制定人工智能治理政策，并分配管理支持政策执行的人工智能 TRiSM 技术的责任。组织起来后，他们必须：

• 发现并盘点组织中使用的所有人工智能。

• 重新审视并实施所有可能被人工智能利用的企业信息的数据分类、保护和访问管理。

• 评估并实施分层 AI TRiSM 技术，以在所有 AI 用例中持续执行策略。

• 随着更先进、更具成本效益的 AI 模型和工具的出现，保持灵活性并确保不依赖于任何单一的 AI 模型提供商。

• 经常监控供应商状况，了解预期的整合和新兴的 TRiSM 外包服务，以减轻系统集成和维护的负担。

战略规划假设

到 2026 年，至少 80% 的未经授权的人工智能交易将是由于企业内部违反有关信息过度共享、不可接受的使用或误导性的人工智能行为的政策而造成的，而不是恶意攻击。

到 2027年，AI TRiSM 即服务将成为那些没有资源实施自己的 AI TRiSM 服务的企业可行的外包服务选择。

到 2028 年，25%的大型组织将拥有由数据和分析、数字工作场所以及安全和合规领域的代表组成的整合而专门的信息治理团队，而2023 年这一比例还不到 1%。

市场定义

Gartner 将 AI 信任、风险和安全管理 (TRiSM) 市场定义为由四层技术能力组成，这些能力支持所有 AI 用例的企业策略。这些策略有助于确保 AI 治理、可信度、公平性、安全性、可靠性、保密性、隐私性和数据保护。最上面的两层——AI 治理和 AI 运行时检查与执行——是 AI 的新内容，部分正在整合为一个独特的细分市场，而最下面的两层则代表专注于 AI 的传统技术。

AI 带来了新的信任、风险和安全管理挑战，而这些挑战是传统控制无法解决的。企业最担心的是数据泄露、第三方风险以及不准确或不必要的输出，需要确保企业 AI 行为和行动符合企业意图。

随着人工智能市场迅速成熟和变化，企业必须进一步保持独立于任何单一人工智能模型或托管提供商，以确保可扩展性、灵活性、成本控制和信任。企业需要能够从性能、成本和风险的角度挑选最适合其用例的人工智能工具和模型，而不能仅仅依靠供应商在现有企业应用程序中添加人工智能功能来满足组织的所有人工智能需求。

企业 AI TRiSM 功能应可在后端托管提供商之间移植。企业应尽可能使用托管和前沿模型提供商提供的 TRiSM 功能来补充自己的 TRiSM 服务，以支持强大的分层控制框架。

AI TRiSM 市场一直在稳步发展，并不断推出解决这些问题的解决方案。随着越来越多的 AI 项目投入运营，用户对 TRiSM 解决方案的需求也在不断增加，各种规模的提供商都在争夺这一新的企业业务。

AI TRiSM 解决方案使企业能够了解其网络中访问和使用的所有 AI。它们还使组织能够更安全地使用 AI，确保 AI 行为符合组织意图，保护 AI 系统免受恶意行为者的侵害，并确保机密数据和知识产权得到妥善保护。AI TRiSM 解决方案还有助于支持遵守 AI 法规、安全标准和内部控制。

AI TRiSM 措施适用于所有类型的 AI，从嵌入式 AI 到自主开发的代理 AI 系统，并补充了传统的技术保护措施。新的 AI 治理和运行时执行功能正在融合，形成 TRiSM 市场的一个独特部分。

必备功能

必备性功能包括：

• 人工智能目录：组织中使用的人工智能实体的清单，例如各种配置的模型、代理和应用程序，范围从现成的第三方应用程序中的嵌入式人工智能到自带人工智能、检索增强生成系统，再到第一方模型

• AI 数据映射：用于训练或微调 AI 模型、为 RAG 系统中的用户查询提供上下文或为 AI 代理系统提供数据

• 持续保证和评估用于基线的性能、可靠性、安全性或安全期望和指标

o   在部署前和部署后（带外）进行保证和评估

• 运行时检查和执行：应用于模型、应用程序和代理交互，以支持与组织治理策略的事务一致性。检查适用的连接、流程、通信、输入和输出是否违反策略和预期行为。突出显示异常并阻止、自动修复或转发给人工或事件响应系统进行调查、分类、响应和适用的修复。

市场描述

AI TRiSM 技术正在快速发展，以跟上 AI 的快速进步以及用户对安全部署 AI 的日益增长的兴趣。

图 1显示了AI TRiSM 的四层，位于第五层底层之上，由传统技术控制（例如网络、终端和云安全解决方案）组成。

图1：AI TRiSM技术功能

AI TRiSM 技术框架的顶部两层（AI 治理和运行时解决方案）正在整合，形成一个管理 AI 风险和威胁所需的全新细分市场。具体而言，将 AI 清单和持续评估的治理功能与运行时检查和执行功能相结合，支持对 AI 交互进行运行时分析，并以持续风险评分的 AI 清单为基础。这一新细分市场将继续得到 AI TRiSM 底部两层中的企业解决方案的支持，这些解决方案代表了专注于 AI 信息和工作负载的传统技术。

目前，没有任何一家供应商或解决方案能够解决人工智能风险和威胁的所有方面。一些供应商专门支持安全和风险缓解，而另一些供应商则专门支持道德或安全实践和法规遵从性。即使在人工智能治理层中，一些供应商也更专注于广泛的治理功能，而其他供应商仅提供有效提供运行时控制所需的功能。如上所述，这些控制通常包括人工智能清单和持续评估。

AI TRiSM 市场的特点是独立于前沿模型提供商解决方案，这些解决方案也支持信任风险和安全管理。随着 AI 市场迅速成熟和变化，企业必须保持独立于任何单一 AI 模型或托管提供商，以确保可扩展性、灵活性、成本控制和信任。

企业需要能够从性能、成本和风险的角度挑选出最适合其用例的AI 工具和模型。他们不能仅仅依靠供应商将 AI 功能添加到现有企业应用程序来满足组织的所有 AI 需求。企业 AI TRiSM 功能应可在后端托管提供商之间移植。同时，企业应尽可能使用托管和前沿模型提供商提供的 TRiSM 功能来补充自己的 TRiSM 服务，以支持强大的分层控制框架。

随着时间的推移，我们预计全面的 AI TRiSM 即服务将作为一类外包服务出现，专注于满足中小型企业的需求。这些服务将适用于各种类型的 AI 实施。

AI TRiSM 市场指南不包括的内容

本指南不包括前沿模型托管提供商提供的 TRiSM 解决方案。这些公司通常提供 AI 过滤功能，以过滤涉及暴力、仇恨、自残或不适当性互动的社交不安全互动。大多数模型托管提供商支持私有企业租户、传输中的企业数据加密以及让企业控制其数据的数据处理协议。他们还开始支持检测常见的可识别安全违规行为，例如即时注入。

模型托管和前沿模型提供商通常无法访问所有企业数据，也无法提供对可靠、安全的 AI 采用至关重要的全面信息治理。此外，前沿模型提供商并不负责为企业特定的可接受使用政策定制 AI TRiSM 政策引擎。但他们可以做的是为企业提供工具，让企业自行定制和部署这些政策执行器。

使用人工智能可能导致社会生存风险，但《人工智能 TRiSM 市场指南》并未包含直接缓解这些风险的解决方案，因为企业目前无法控制这些风险。前沿模型提供商、人工智能研究人员和监管机构负责采取措施缓解人工智能的生存风险。

最后，AI TRiSM 不是使用 AI 检测恶意事件（例如欺诈、深度伪造、盗窃或数据泄露）的安全或欺诈管理市场的一部分，也不是利用 GenAI 提高安全或欺诈运营效率的市场的一部分。

市场方向

四种不同的趋势正在塑造 AI TRiSM 市场及其预期的未来（见图 2）。自从ChatGPT使生成式AI的访问民主化并强调控制企业对 AI 使用的迫切需要以来，这些趋势已被推到表面。在此之前，大多数企业 AI 开发：

• 用于数据科学团队内部开发的第一方模型

• 需要高水平的数据科学和 AI 工程技能才能使用

因此，TRiSM 在大多数不受监管的行业中处于次要地位。

图 2：四大关键趋势塑造 AI TRiSM 市场

趋势一：AI TRiSM 团队初具规模

AI 需要新的跨企业团队流程和工具来实现有效的运行时部署。这可确保所有相关方共同努力，实现满足其不同要求的统一 AI 成果。Gartner 正在见证四种新兴的组织趋势，这些趋势将在未来三年内自然而然地导致 TRiSM 监督和运营团队的出现（见图 3）：

• 安全和风险管理功能与相关 IT 软件工程和质量保证团队合并和集成，并转移到 AI 工程来管理 AI TRiSM控制。

• AI集中或混合团队出现并管理AI的各个方面，包括AI TRiSM控制。

• 信息治理打破了这一表面，导致不同组织迫切需要采取统一的方法来保护人工智能使用的信息。

• 法律和合规人员要求企业AI应用满足监管和法律要求。

图 3：团队必须与新的 AI 流程和领域保持一致

Gartner 预计，AI TRiSM 监督和运营团队将向负责企业 AI 创新、开发和运营的经理汇报。同时，根据 Gartner 在 2024 年进行的一项企业 AI 调查，AI 隐私、安全和风险计划的预算权力通常由 CTO 或 CIO 办公室掌握。

趋势二：统一的 AI 运行时检查和执行系统

需要一致的信号、低延迟、单次处理和统一的运行时控制系统来有效处理 AI 事件的运行时检查并执行企业策略。否则，运行时针对相同事件的孤立检查和策略执行系统将导致相互冲突的分析和解决方案。

图 4：统一运行时检查和执行

重要的是：

• 同时执行运行时策略引擎（由规则和 AI 模型组成）——例如，对数据泄露风险、偏见风险、法律风险和安全威胁进行评分的单独策略引擎。

• 将他们的结果合并为一个通用的混合风险评分，以指导企业未来针对可疑的AI 交互采取行动和补救措施。

组织必须确定最有能力管理统一运行时检测和执行系统的团队，无论是 AI 工程领域的新 AI 团队、扩大的 IT 团队还是扩大的安全和风险团队。无论谁拥有统一运行时检测和执行系统，对于未自动阻止或补救的可疑交易的事件响应和补救都应传递给最有能力处理它们的单位和系统。

例如，在大多数情况下，统一检查和执行系统中检测到的安全事件将发送给组织的安全信息和事件管理 (SIEM) 团队（或外包托管安全服务提供商，视情况而定），以进行必要的跟进。然后，AI 事件分类将根据遇到的异常或违规类型需要多个升级队列：

• 可接受的使用违规和幻觉将被发送到最适合管理它们的单位——例如人工智能事件响应团队。

• 及时注入和更传统的攻击将被发送给安全和风险团队。

需要新的剧本来分类和升级非安全人工智能违规行为，例如法律或合规问题。

趋势三：AI托管提供商扩展TRiSM服务

Frontier 模型提供商和其他 AI 托管提供商正在不断扩展他们为企业提供的 TRiSM 服务，以此作为获得更多业务的竞争策略。一些提供商已经推出了企业可以用来支持自己特定可接受使用政策的工具。大多数托管提供商都实施了防护措施，以防止将其模型用于暴力、自残、性内容和仇恨。许多提供商已经实施了工具来检测版权侵权和已知的运行时安全威胁，例如提示注入。

AI TRiSM 始终是用户和模型提供商的共同责任，其级别取决于 AI 服务的配置，无论它们是代表 IaaS、PaaS 还是 SaaS 服务。托管和管理自己模型的组织对所有风险缓解负全部责任。

趋势四：AI TRiSM 市场整合

将 AI治理与 AI运行时检查和执行相结合：本市场指南中的几家供应商已经部分实现了这一点，我们预计这一趋势将在 2025 年及以后加速。通常，提供 AI 运行时检查和执行的供应商还提供两项AI治理功能：

• AI目录（例如库存）

• 持续保证和评估

将这两个治理功能与运行时控制相结合，为所有企业 AI 交互的实时分析和策略实施提供了基础，并提供了对 AI 风险和威胁的完整视图。

从多种类型的供应商那里获得并扩展战略：人工智能治理和运行时检查与执行的整合将融入到成熟的大型软件、安全或网络供应商提供的服务中，这些供应商寻求通过支持用户的人工智能之旅来增加客户钱包份额。例如：

• 2024 年，思科收购早期初创 TRiSM 供应商Robust Intelligence时，Gartner 看到了这一趋势的迹象。

• 我们还见证了Zscaler和Palo Alto Networks等基于云的网络安全供应商将其功能扩展到 AI TRiSM。

更远：

• 一些监管、合规/公平、信任和安全导向的解决方案将与现有的治理风险与合规（GRC）系统合并，其中许多系统已经添加了人工智能治理的模块。

• 一些 AI 运行时检查和执行解决方案将与 SASE、SSE 和云安全供应商（如Zscaler和Wiz ）以及 SIEM 和 SOAR 供应商（如Exabeam或Cisco （Splunk））合并。

• 提供安全和风险功能外包服务的供应商将扩展以提供 AI TRiSM 服务，主要针对中小型组织。

• 提供支持 AI 生命周期抽象层的企业 AI 管理平台的供应商将越来越多地将 TRiSM 功能集成到其平台中。例如，Airia和Backplain等 AI 供应商已经集成了 TRiSM 功能，同时帮助用户确定哪种后端模型是特定用例最合适且最具成本效益的选择。最终，这些 AI 管理供应商将被大型软件公司收购。  

信息治理层整合：提供数据安全态势管理 (DSPM) 、数据安全和数据防泄露(DLP) 系统的供应商将继续扩展以纳入以 AI 为中心的功能。特别是：

• DSPM 供应商将在 AI 运行时纳入动态数据分类和许可。

• DLP 供应商将扩展其功能，以支持基于上下文的 AI 会话和交互检查，并使用 AI 策略引擎来执行可接受的使用和访问控制。DLP 供应商还将扩展其产品以支持响应和入站信息（而不仅仅是像现在这样支持交易输入和出站信息）。

• 数据安全平台供应商将在其产品中整合结构化和非结构化信息的安全性。

市场分析

如图1 所示，AI TRiSM 市场由四个功能技术层组成。顶部两个是 AI 的新技术；底部两个是专注于 AI 的传统技术措施：

• AI治理

• AI运行检查和执法

• 信息治理

• 基础设施和堆栈

每个功能层都具有多种功能。这里，我们将详细介绍每个层并概述这些功能。

人工智能治理

企业 AI 治理涉及技术和职能团队的多个利益相关者——数据科学、AI 工程、法律、隐私、风险与合规、人力资源、道德、安全、审计、采购和业务团队。AI治理提供了一个框架来管理组织的 AI 资产，增强对 AI 性能的信心并确保业务成果。

AI治理与其他治理计划具有类似的组织支柱和重点，由人员和流程计划推动，并以技术为推动力。本节重点介绍AI治理技术。

AI 治理技术提供了企业健康状况的统一视图。AI 治理技术涵盖三个核心框架——负责任的 AI、受保护且安全的 AI 以及 AI 就绪数据，并为企业内的各种 AI 实施提供连接：

• 负责任的AI框架包括安全、保障、问责、透明、公平和道德原则。

• 受保护的安全AI框架包括可接受使用执行、AI与用户意图保持一致以及针对恶意行为者的保护等原则。

• 支持 AI 的数据框架可确保访问用于 AI 解决方案的可信且受保护的数据（通过访问管理和数据分类）。

此外，AI治理技术支持AI实施的保证和审计实践：

• AI保证涉及各种流程和活动，以验证模型、代理和应用程序是否按照业务、法律（例如合同）、监管（例如欧盟人工智能法案、通用数据保护条例 [ GDPR] ）和合规（例如NIST 人工智能风险管理框架 (NIST AI RMF) 、ISO/ IEC 42001 ）义务执行。AI治理技术支持与人类保证活动相关的证据和工件的链接。

• 大多数AI审计要求包括系统和验证可追溯性，以确保符合组织政策和监管要求。

所有这些都需要几项核心的AI治理技术能力以及支持与运营平台集成的扩展，其中最值得注意的是AI运行时检查和执行解决方案。有关AI治理能力的详细说明，请参阅表 1 和注释 3 。

表一：AI治理技术功能

治理：部署前或部署后的支持活动
人工智能可见性和可追溯性	工作流程（内部和第三方）	持续保证和评估（内部开发和第三方）
目录：组织中使用的所有人工智能的发现、清单和风险评分 自动化（部分）文档：物料清单、模型卡、工件、监管报告、可解释性 审计线索：对人工智能工件的所有状态变化进行审计 地图：人工智能与人类和其他系统流程及其配置的集成地图；完整的生命周期 所有权：文物和宗族的所有者 数据：将数据映射到人工智能的使用、血统 风险、法规和控制：验证、风险评估、内容库、报告	批准新的 AI；例外情况 使用证明 与第三方供应商的沟通： o     射频干扰 o     响应 o     遵守 o     控制	人工智能安全测试：对所有实体（模型、应用程序、代理）进行红队测试和扫描 风险和信任控制验证： o     偏见 o     泄漏 o     相信 o     用例对齐 姿势管理 合规性报告

来源：Gartner（2025 年 2 月）

AI 运行时检查与执行

AI运行时检查和执行适用于模型、应用程序和代理交互，并支持与组织治理政策进行事务协调。检查适用的连接、流程、通信、输入和输出是否违反政策和预期行为。突出显示异常并阻止、自动修复或转发给人工或事件响应系统进行调查、分类、响应和适用的修复。

Gartner 发现，在模型、应用程序和代理等AI 实体中应用的运行时检查和执行控制具有很大的相似性。最佳的运行时检查系统将提供模块化解决方案架构，用户可以根据 AI 用例将适用的检测和执行应用于任何 AI 实体（例如模型、应用程序或代理）。

表 2显示了针对不同人工智能实体所采用的不同措施。

表2 ：AI 运行时检查和执行功能

运行时检查和执行
人工智能模型	人工智能应用	人工智能代理
模型监控 检测异常活动和安全事件；尽可能阻止并自动修复 数据保护 负责任的 AI 过滤 遵守内部和外部控制	基于上下文的访问控制和动态上下文数据分类 内容异常检测输入和输出风险（安全和企业可接受的使用）；如果可能则自动阻止 AI 运行时防御（恶意和黑客攻击）；如果可能则自动阻止 选择性数据混淆和编辑 遵守内部和外部控制	使代理活动与代理意图保持一致 检测并标记异常活动和安全事件 在可能的情况下自动阻止异常和安全事件 在可能的情况下自动修复异常和安全事件 遵守内部和外部控制

来源：Gartner（2025 年 2 月）

图 5描绘了用于自主开发的应用和代理的运行时检查和执行的示例企业集成架构。对于其他类型的 AI（例如现成应用中的嵌入式 AI），此图看起来会有所不同。

图 5：自主开发的应用程序和代理的企业集成架构示例；运行时

信息治理

在人工智能 TRiSM 的背景下，信息治理涉及在数据的整个生命周期内对其进行分类、保护、保障和管理。成熟的信息治理控制对于以下方面至关重要：

• 确保人工智能只能访问相关且正确获得许可的信息

• 保护组织的敏感信息

• 尝试遵守相关人工智能法规，例如欧盟人工智能法案

由于访问控制不当而导致的过度共享和信息治理不善造成的数据泄露风险并不是新问题。然而，当Gen AI 工具嵌入到企业应用程序中或使用 RAG 查找组织信息时，它们可以更快地将过度共享的数据暴露给更大的受众，并揭示数据生命周期的挑战。如果未能采取适当措施识别和管理整个组织数据资产中的敏感数据，将加剧此类挑战，带来不必要的数据风险，并可能导致大范围的数据泄露。对于知名的横向 AI 产品（如Microsoft 365 Copilot 、Gemini for Workspace和ChatGPT Enterprise （如果集成到生产力平台中））来说，这是一个特别大的问题。Microsoft 365和Google Workspace等生产力平台中的非结构化数据历来管理不善，当部署在基础设施中的 AI 模型具有对组织数据的默认、广泛访问权限时，这将成为重大问题。

为了避免在使用 GenAI 和其他 AI 工具时出现过度共享的问题，组织必须全面改善信息治理。挑战有两个方面：

• 大多数组织和供应商都试图从特定的孤岛（例如安全性、数据保护、身份或合规性）来解决这一问题，而不是通过将孤立的群体聚集在一起以获得统一的视图和协调行动来改善信息治理。

• 信息治理经常成为事后才想到的事情，并且可能会因为其他更紧迫的项目而被永久推迟。

对于许多组织而言，薄弱的信息治理正在成为更广泛地推广 GenAI 的主要障碍，并为专门从事该领域的第三方供应商提供了机会。

为了改善信息治理，组织需要组建一个由来自不同团队的利益相关者组成的多学科团队，包括数字工作场所、数据和分析 (D&A)、数据安全、合规性以及身份和访问管理 (IAM)。具体来说，这个多学科团队必须关注：

• 弥合各代表团队之间的差距，确保满足组织的安全性、可用性、隐私性和规模要求（见图6 ）。例如，通过促进部署前研讨会来实现这一点，这些研讨会不针对任何安全学科，而是针对组织的战略业务成果。

• 根据数据目的、组织目标和业务需求处理、分类、保护和确保敏感信息的安全。

• 建立数据保留策略来管理冗余、过时或第三级内容 (ROT)。

• 切换到基于目的的访问控制（PBAC）策略来减少“权限蔓延”。

• 在生产力平台（如 Microsoft 365 和Google Workspace）中构建可扩展的信息架构，以使上述内容易于管理且易于用户理解。

图 6：信息治理所需的多学科方法

目前，该技术层仍比较分散，供应商通常专注于全面信息治理所需的一两个组件。例如：

• DSPM、DLP 和 DAG 供应商专注于数据安全。

• 身份治理供应商专注于权限管理。

• 合规供应商专注于保留和数据生命周期。

隐私增强技术 (PET) 是一组有助于保护正在使用的数据的工具，例如在模型训练、微调、对混淆数据进行推理或在可能不想共享数据但仍有意交换信息的实体之间执行联合模型期间。PET可应用于 AI TRiSM 堆栈的多个层，例如在计算级别（例如，机密计算）、信息治理（例如，在生命周期阶段使用合成数据或同态加密形式（如Enveil ）使用一致且稳健地更改的数据）、性能监控（例如，使用合成数据）或推理、RAG 和微调中的混淆（例如，Protopia ）。

因此，虽然可以使用许多产品来降低信息治理风险，但不太可能找到一款能够提供全面解决方案的产品。

基础设施和堆栈

基础设施和堆栈是指支持 AI 工作负载的硬件和软件环境、用于开发和维护 AI 应用程序的专用工具和库、数据处理层以及包括网络基础设施在内的部署环境。Gartner观察到该层的解决方案正在应用于AI 工作负载，从而加强对 AI 数据和流程的保护。此类别的解决方案包括 API 密钥管理和机密计算，以保护可信执行环境中的工作负载。

代表供应商

供应商的 AI TRiSM 功能多种多样且分散。检查所考虑的产品，了解市场分析部分列出的每个核心 AI TRiSM 功能所包含的详细功能。

AI治理和运行时检查与执行

AI治理和AI运行时检查与执行解决方案是AI领域的新领域，构成了AI TRiSM技术框架的顶层两层。AI的这两层正在部分整合，形成AI TRiSM市场的一个独特的新领域。

目前，提供 AI 治理和运行时控制的供应商在功能上存在很大差异，Gartner 观察到该领域的供应商主要分为两类（有些供应商部分跨越了两个类别）：

• 政策治理：这些供应商主要针对 GRC 买家，提供完整的 AI 文档、法规合规性监控和上表 1 中定义的各种 AI 治理功能。许多此类供应商还涉足运行时控制，以验证企业政策（尤其是合规性政策）是否得到执行。

• 运营治理：这些供应商的目标客户是负责确保在 AI 运营期间减轻各种风险和安全威胁的买家。这些供应商提供范围较窄的 AI 治理功能（即 AI 清单和持续保证/评估），并支持基于持续风险评分 AI 清单的 AI 交互运行时分析。

表 3 列出了属于这两个类别的样本供应商，随着供应商扩展其功能集以满足用户需求，这些类别之间的界限开始变得模糊。

表3 ：代表性供应商：AI 治理和运行时检查与执行

公司	产品	总部	成立时间	区分能力
ActiveFence	ActiveFence的 AI   Guardrails	美国	2018	用于构建和部署 AI 应用的护栏。为任何 AI 模型组合提供基于策略的可定制保护。专注于可见性、安全评估、实时保护和事件管理。
Aim Security	Aim AI安全平台	以色列	2022	多种 AI 资产（模型、代理、管道、ML 流程、笔记本、库）的运营管理和可见性、风险评估和自动红队。运行时监控可防止即时注入和越狱，涵盖运行时数据、AI 应用程序保护（RAG 漏洞和代理工作流），并与 DSPM 集成以突出显示用于训练 AI 资产的敏感数据。
AIShield（由博世提供支持）	AISpectra——模型开发的人工智能安全 Guardian — 运行时安全的   AI 防火墙	印度	2022	运营治理和运行时控制，包括 AI 库存管理和持续评估、自动红队、实时入侵检测和漏洞评估。以风险评分库存为基础的 AI 交互运行时分析，并与 DevSecOps 和 SIEM 工具集成。
Apex	Apex AI安全平台	美国	2023	运营治理包括 AI 库存和持续评估。无代理解决方案，可检测和响应所有企业 AI 活动。
APPSOC	APPSOC人工智能	美国	2021	使用姿态管理、AI 发现、红队和模型测试、AI 供应链安全等工具进行运营治理和运行时控制。还提供负责任的 AI 过滤、ML 驱动的 DLP 和内容异常检测。
CalypsoAI	Inference Defend Inference Red Team	爱尔兰	2018	CalypsoAI Inference Defend 通过检查和执行   AI 交互来提供实时推理层安全性，并根据模型性能、用户行为和威胁情报不断调整防御措施，同时实现可定制的控制并遵守不断变化的法规。 CalypsoAI Inference Red Team提供自动化、可扩展的评估，运行现实世界的对抗性攻击，以主动识别漏洞并创建风险评分的 AI 库存，将代理战与签名攻击和操作测试相结合。
思科（强大智能）	Cisco AI Defense	美国	1984	Cisco AI Defense可保护企业应用程序的开发和部署，以及员工对第三方 AI 应用程序的使用。该产品以收购Robust Intelligence时获得的算法漏洞测试和运行时护栏为基础，并利用思科的网络层可视性和安全实施来保护分布式环境中的 AI 资产和工作负载。
Collibra		美国	2008	Collibra提供治理功能，包括模型文档、可解释性、合规性功能，并在 AI 可靠性和合规性方面同样投入。它还在领先的 AI/ML 平台上提供运行时指标和执行机制。
Coralogix（Aporia）	AI Observability	以色列	2019	利用多个专门的小语言模型 (SLM) 根据异常或行为的类型提供有针对性的评估。目录中的每种策略类型可能都依赖于自己的 SLM，以低延迟提供实时控制，并通过策略实施和监控实现运营治理。
Cranium		美国	2022	AI 运营治理平台通过组织共享信息的独特 AI 信任和安全中心，实现整个 AI 供应链的安全性、第三方性、合规性和信任。 通过扫描所有存储库、识别和标记相关目录，并根据大小和最近活动对结果进行优先排序，实现对 AI/ML 代码的可见性，以便在短时间内集中注意力。
Credo   AI	Credo AI	美国	2020	Credo AI 提供专用的 AI   治理 GRC 平台，具有开箱即用的工作流程和治理内容，可帮助组织将其 AI 的开发和使用与法规、标准和最佳实践保持一致。Credo AI 平台与企业的 AI 基础设施集成，以创建集中式 AI 清单，并提供自动化 AI 风险评估和持续风险监控，以识别和缓解关键风险和合规性问题。
Databricks	Databricks Unity Catalog	美国	2013	Databricks 利用Unity   Catalog在整个数据和 AI 生命周期中提供统一的安全性和治理，使组织能够在一个地方管理结构化和非结构化数据、ML 模型和 AI 功能。Unity Catalog通过集中访问控制、审计、ML 质量监控（包括公平性、偏差检测和 AI 适当性）、沿袭跟踪和模型发现将治理扩展到专有和开源模型，并自动执行敏感数据分类，在行和列级别实施细粒度安全性。
DataRobot	DataRobot企业 AI 套件	美国	2012	DataRobot 的 AI 治理框架可自动管理生成和预测 AI 中的模型，并将其治理扩展到本地、边缘、远程设备和云。DataRobot通过自动文档、可自定义的报告以及内置的安全和合规性分析简化了对欧盟 AI 法案和 HIPAA 等法规的遵守，并根据需要通过实时和流式审核进行增强，以实现预测和生成推理，以及用于本地和远程部署的深度监控工具。
Daxa	Pebblo	美国	2021	Daxa 将配置时 AI 数据上下文与运行时数据访问控制相结合。它既支持 AI 治理和安全，又利用了以开发人员为先的开源方法。
Fairly AI	Fairly AI Governance, Risk and Compliance   Management Platform for Enterprise	加拿大	2020	Fairly AI 企业治理风险与合规管理平台采用多代理作为法官的评估框架，该框架采用经过定性和定量风险与合规数据训练的“专家混合”模型，帮助检测、管理和减轻 AI 风险。
HiddenLayer	人工智能安全 平台	美国	2022	HiddenLayer 专注于保护 AI   和机器学习模型，提供传统网络安全解决方案所忽视的专业威胁检测、模型保护和对抗性攻击缓解。它集成到现有的   AI 管道中，在不影响性能的情况下提供安全性。
Holistic AI	AI Governance Platform AI Audits AI Safeguard AI Tracker	美国	2020	Holistic AI的软件通过确保   AI 系统的透明度、公平性和可问责性，帮助组织管理 AI 风险。它们提供各种治理、安全和运行时分析工具，帮助最大限度地降低财务、法律和声誉风险。
IBM	IBM watsonx.治理	美国	1911	与供应商无关：即使与第三方供应商一起构建和部署，也可以管理 AI，包括整个生命周期的治理——从概念到开发以及运行时。 涵盖 ML 和 GenAI 的综合功能可满足多种需求：AI 可观察性和监控、涵盖 AI 风险和法规遵从性的风险管理，以及通过与IBM的 AI 安全和其他供应商集成实现的 AI 安全性。
Knostic		以色列	2023	Knostic定义、捕获和管理组织内各种角色的主题级知情需求，这与传统的以数据为中心和以信息为中心的控制不同。Knostic的知情需求规则可用于查找过度共享的内容、强制执行每个用户/每个主题的护栏、对记录的交互中的知情需求违规发出警报，并确保 agentic-LLM 在用户的知情需求范围内运行。
Lakera	Lakera人工智能安全平台	美国	2021	Lakera AI 安全平台提供实时可见性和控制，以阻止威胁并管理代理。Lakera的AI 优先方法提供   AI 威胁检测并最大限度地提高代理性能。
Lasso Security		以色列	2023	Lasso Security是一个   GenAI 安全平台，它通过自主测试 LLM 应用程序、监控所有 GenAI 交互、实时检测风险和启用高级护栏来增强组织的安全态势。借助适用于应用程序和员工的 Lasso，组织可以持续测试和保护 GenAI 模型、应用程序、代理和聊天机器人的使用，同时保持合规性和安全性。
LatticeFlow   AI		瑞士	2020	LatticeFlow映射内部和外部   AI 治理框架、法规和 AI 系统的交集，以便在企业环境中对风险进行建模。 LatticeFlow不断收集有关用例的技术和背景证据并将其连接到 AI 控制，为解释和变化检测提供经验基础。
ModelOp	模型运营中心	美国	2016	ModelOp的 AI 治理技术为所有 AI 计划（包括 GenAI、内部、第三方和嵌入式 AI 系统）提供端到端模型生命周期管理。通过利用自动化来强制合规，并与现有 IT 和 AI 投资相结合，ModelOp支持跨业务部门和团队的可扩展、有效治理。
Monitaur	Govern and Automate	美国	2019	Monitaur将各种标准和法规统一到一个全面的通用控制库中，每个Monitaur控制都定义了一种风险，映射到一个模型开发阶段，并规定了模型构建者和风险利益相关者应该做哪些工作来降低风险。在验证产品中，Monitaur还在某些情况下引入了合成数据，以进一步扩展对抗性和稳健性压力测试评估的测试范围和模拟场景。
Noma Security	AI中型安全平台包括： 人工智能供应链安全 人工智能治理和安全态势管理 AI运行时保护	以色列特拉维夫	2023	全面覆盖整个生命周期的AI治理，包括AI供应链安全（包括Jupyter笔记本，模型注册表），AI运行时保护，AI红队和AI基础设施评估。 单一玻璃视图和大量集成用于提高运行时检测的准确性和仪表板的清晰度。
OneTrust	数据与人工智能治理解决方案	美国	2016	OneTrust使用 GenAI   策略跨数据系统管理数据和 AI 项目。数据和 AI 治理解决方案通过自动化元数据发现、将书面策略转换为可执行数据策略和动态控制以及在整个 AI 生命周期（从设计到部署）中嵌入治理来为 AI 准备数据。
Operant AI	AI Gatekeeper	美国	2020	Operant通过针对 AI 模型、AI 应用程序、AI API 和   AI 代理的发现、检测和主动防御功能，在运行时保护 AI 工作负载。Operant提供先进的 AI 数据保护功能，包括关键和敏感数据的在线阻止、自动编辑和数据混淆。
Palo Alto	AI运行时安全 人工智能访问安全	美国	2005	AI 运行时安全发现、保护和监控 AI 生态系统（应用程序、模型、代理和数据）中的每个组件，免受特定于 AI 的威胁，并防止 AI 模型、应用程序和代理的数据泄露，从而保护它们免受滥用和攻击。 AI Access Security 提供超过   1000 个应用的最新目录，可全面了解公司的 GenAI 使用情况。其情境感知 AI 检测可防止敏感数据泄露给有风险的第三方 LLM。
Pillar Security	Pillar 统一人工智能安全平台	以色列	2023	Pillar AI Security 平台在所有运行时和开发阶段为 AI 模型、应用程序和代理提供全面的安全性和治理，无论模型、版本或位置如何。它集成提供持续的库存发现、量身定制的对抗性测试、动态运行时防御、数据分类和每次交互（包括来自用户、数据集、管道、模型等的交互）的不可变日志记录。
Prompt Security	Prompt for Employees Prompt for AI Code Assistants Prompt for Homegrown GenAI Applications	美国	2023	全面的可视性、运行时监控和策略实施，涵盖员工对 AI 的采用，包括Microsoft 365 Copilot和 AI 代码助手等企业应用程序，具有特殊功能（例如代码扫描），也可用于定制的 GenAI 应用程序。策略包括内容审核、数据隐私和安全，利用小型语言模型、启发式方法和其他技术的组合来最大限度地减少延迟并提供敏感或不适当内容的即时编辑。
Protect AI	Layer Guardian Radar Recon	美国	2022	Protect AI端到端 AI 安全平台，使客户能够满足模型开发、应用程序测试、运行时安全和治理方面的安全需求。 客户可以利用现成的最佳扫描仪并连接到现有的 MLOps 和安全工具，同时在一个平台内映射到常见的风险和安全框架，如开放全球应用安全项目 (OWASP) 、NIST 和 MITRE。
S2E	Galene 人工智能 生成护盾	意大利	2008	Generative Shield 提供 AI 治理功能，例如目录、自动文档、审计跟踪和测试，以及针对 AI应用程序和代理的 AI 运行时检查和实施，包括意图对齐、异常和安全检测以及自动阻止/补救，所有这些都以欧洲法规为重点，例如欧盟 AI 法案和 GDPR。它可作为 SaaS 平台或本地使用，通过市场标准 API 作为应用程序/代理与主要   LLM 推理服务和服务器之间的代理集成。
Securiti	Securiti数据指挥中心	美国	2018	Securiti数据指挥中心为   AI 系统提供全面的安全与治理，包括保护影子 AI、构建安全的企业 AI 应用以及保护嵌入在 SaaS 应用中的 AI。Securiti 利用独特的知识图谱，使用细粒度上下文来实施符合 Gartner 的 AI TRiSM 框架、OWASP Top 10 for LLM 以及欧盟 AI 法案和NSIT 人工智能风险管理框架 (NIST AI RMF)等合规法规的安全控制。
TrojAI	TrojAI 防护 TrojAI检测	加拿大	2019	TrojAI通过对模型进行渗透测试以及实时 AI 运行时保护，为 AI 治理和模型运行时检查提供了一个平台。AI 治理产品通过 AI 渗透测试获得的更多背景信息为 AI 运行时保护提供信息，从而在保护 AI 模型行为方面提供更准确、更有效的控制。
WitnessAI	Witness AI安全人工智能赋能平台	美国	2023	WitnessAI与常用工具集成，可检测影子人工智能、对对话进行分类，并为包括 Copilots 在内的人工智能应用程序的用户提供实时保护。WitnessAI为数据保护和有害响应提供了强大的防护措施，同时可扩展以保护模型和聊天机器人免受越狱和不良行为的影响。
Zenity	Zenity	美国	2021	Zenity从构建时到运行时管理和保护 AI 代理，提供纵深防御方法，利用深度代理行为监控和意图破坏检测功能来实现可视性和主动风险缓解。Zenity不仅仅提供输入和输出，还可以查看代理正在执行的所有操作，并将业务逻辑驱动的 AI 安全态势管理 (AISPM) 与实时 AI 检测和响应 (AIDR) 相结合，以缓解风险、确保合规性并最大限度地提高 SOC 和 AppSec 效率。
Zerotrusted.ai	人工智能防火墙	美国	2022	其运行时保护使用模型集成和 LLM-as-a-Judge 来提高 LLM 输出的可信度和可靠性，同时最大限度地减少延迟。

来源：Gartner（2025 年 2 月）

市场建议

人工智能领导者必须与整个组织的利益相关者合作，管理人工智能的信任、风险和安全。他们应该建立一个组织结构，用于制定和更新人工智能治理政策，以及评估和实施支持和执行这些政策的人工智能 TRiSM 技术。这将有助于组织系统地确保更安全、更可靠、更值得信赖和安全的人工智能使用。

组织起来后，人工智能领导者及其业务合作伙伴应该：

• 发现和盘点组织中使用的所有 AI，利用提供帮助的供应商的能力，如本指南的 AI 治理部分所定义。

• 重新审视并实施所有可能被人工智能利用的企业信息（包括结构化和非结构化信息）的数据分类、保护和访问管理。这将需要参与信息治理的不同团队之间的协作。

• 与法律和合规专家合作，通过合同定义第三方嵌入式人工智能应用程序中不可接受的人工智能使用或行为的责任和义务。

• 评估和实施分层 AI TRiSM 技术，以持续支持和执行所有正在使用的 AI 实体的策略。这包括企业拥有的 AI TRiSM 服务，以及前沿模型提供商提供的控制。评估来自Microsoft 、OpenAI 、Amazon Web Services (AWS)和Google等供应商的前沿模型托管提供商功能，并在适当的地方应用它们，但不要仅仅依赖它们：

o   企业必须拥有控制措施，以执行其自身特定的 AI TRiSM 政策，同时保持提供商独立性。这样，企业就可以针对其用例使用最有效的托管 AI，无论是大型语言模型、小型语言模型、开源模型还是任何其他类型的 AI 工具。

o   没有足够资源自行组装这些服务的企业应该更多地依赖第三方嵌入式 AI 解决方案提供商来实现 TRiSM 控制。

• 确保独立于任何单一 AI 模型提供商，以便在 AI 发展以及更先进、更具成本效益的 AI 模型问世时实现未来的灵活性。TRiSM 服务有助于支持这种独立性。

• 持续监控供应商状况，了解预期的整合和新兴的 TRiSM 外包服务，以减轻系统集成和维护的负担。