Gartner 2025年顶级战略技术趋势之人工智能治理平台：六大驱动因素和六大主要能力

AI 治理平台通过整合负责任的 AI 实践来监督和管理 AI 系统。它们使 IT 领导者能够实施和监控 AI 的稳健性、透明度、公平性、问责制和风险合规性，确保与组织价值观和社会期望保持一致。

机会

• 随着组织快速整合 AI 技术，AI 治理平台对于解决潜在的合规性和业务风险（包括偏见、缺乏透明度、数据保护和隐私问题、模型评估和验证以及安全威胁）至关重要。这些平台为企业提供了支持更好的 AI、数据和分析风险文化的机会。

• AI 治理平台通过执行防止负责任的 AI 陷阱的准则，使创新能够解决社会问题。企业将对自己的 AI 考虑充满信心，因为他们可以在创新过程中更好地解决诸如偏见缓解之类的复杂问题，并减少后期的挫折或延误。

• AI 治理平台使组织能够展示其对道德和负责任的 AI 实践的承诺，增强其品牌声誉并与利益相关者建立信任。这一点很重要，因为公众对 AI 技术的看法和信任仍然是一个重大问题。

建议

• 评估并投资与现有 AI 基础设施集成的新兴 AI 治理平台。有效的 AI 治理可确保合规性、推动增长并优化成本，从而带来更高的投资回报和有影响力的业务成果，例如法规合规性、收入增长和成本优化。

• 展示对 AI 治理的承诺，以提高品牌声誉并赢得客户、员工和监管机构的信任。通过报告对负责任的 AI 的遵守情况、建立集中委员会来监控合规性以及参与倡导和思想领导来实现这一目标。

• 分配资源以培养内部 AI 治理专业知识。制定适当的政策并培训员工，以最大限度地发挥 AI 投资的价值。创建 AI 治理官等职位，因为拥有专门 AI 治理团队的公司更有可能成功扩展 AI 计划。

• 确保道德规范成为 AI 治理平台的一部分。将道德检查嵌入 DevOps 流程，创建“EthicalOps”方法。这可以减少 AI 偏见事件，并与负责任的创新保持一致。

战略规划假设

• 到 2028 年，使用人工智能治理平台的企业将比竞争对手获得高 30% 的客户信任评级和高 25% 的监管合规评分。

• 到2028 年，实施全面人工智能治理平台的组织与没有此类系统的组织相比，与人工智能相关的道德事件将减少40% 。

需要知道什么

随着组织扩大 AI 投资并应对快速发展的技术的复杂性，AI 治理平台变得至关重要。根据 2025 年 Gartner 首席信息官和技术高管调查，72% 的首席信息官表示他们的企业已经部署或计划在未来一年内部署 AI。然而，这些进步也带来了挑战，包括对道德、公平、偏见和缺乏信任的担忧——正如 2023 年 Gartner 企业 AI 调查中的 AI 领导者所指出的那样，这些挑战是 AI 进步的主要障碍。

此外，2024 年 Gartner CIO 生成式人工智能调查显示，32% 的受访者表示担心人工智能可能反映出源自训练数据的社会偏见和世界观，这凸显了实施有效人工智能治理的迫切需要。

人工智能的偏见和失败可能导致重大业务损失，包括监管罚款、审计和声誉损害。例如，Meta与美国住房和城市发展部 (HUD) 就非法歧视性住房做法达成和解，这种做法源于根据感知到的受保护特征投放广告的算法。

同样，2021 年，Clearview AI因违反数据保护法被英国信息专员办公室罚款 750 万英镑。尽管这项罚款在 2023 年被推翻，但该公司的有争议的做法——包括抓取数十亿张图像用于面部识别，继续引发道德担忧。

本研究探讨了人工智能治理平台的新兴趋势，详细介绍了它们对 IT 领导者的重要性以及实施这些平台所带来的挑战和机遇。这些平台对于建立信任、确保合规性以及降低人工智能风险（例如偏见、隐私和滥用）至关重要，从而使组织能够负责任且可持续地利用人工智能。

简介：人工智能治理平台

描述

AI治理平台是指使组织能够管理和监督 AI 系统的法律、道德和运营绩效的技术解决方案。这些平台是 Gartner 不断发展的AI信任、风险和安全管理(AI TRiSM)框架的一部分，该框架代表了一种功能和技术架构，包括支持和执行企业 AI 政策的治理功能。

AI治理平台的主要独特功能和能力包括：

• 内置负责任的 AI 方法：AI 治理工具使组织能够创建、管理和执行指导负责任的 AI 实践的政策和标准。例如，他们可以解释 AI 系统的工作原理及其决策背后的理由。这种透明度有助于利益相关者理解、解释和信任 AI 成果，从而促进信任、问责制和明智的决策。

• 风险评估：这些平台评估人工智能系统可能带来的潜在风险和危害，例如偏见、侵犯隐私和负面社会影响。它们提供持续监测和纠正偏见的工具，以确保人工智能结果的公平性和公正性。

• 模型生命周期管理：通过总体模型治理流程指导AI 模型，以确保在模型生命周期内遵循所有适当的门控和控制。通过遵循最佳 AI 工程实践，可以大规模交付和维护 AI 模型。

• 人工智能系统审计和监控：作为一项关键功能，人工智能治理平台提供工具来跟踪使用情况、监控人工智能系统性能、审计决策过程并确保人工智能系统始终符合治理标准。

• 合规管理：这为组织提供了遵守现有法规和不断发展的数据保护法的工具，例如《通用数据保护条例》（GDPR）、《加州消费者隐私法案》（CCPA）和人工智能法规。

• 问责与协调：这些平台有助于确定需要监督负责任的人工智能开发和使用的职能和角色。它们使不同的利益相关者能够参与负责任的人工智能系统设计、测试和开发。

AI 治理平台还可能包括其他功能，例如为员工和利益相关者提供培训和教育资源，以了解 AI 治理实践，以及用于跟踪 AI 监管变化的工具。广泛的报告工具确保组织能够生成报告并提供有关 AI 系统性能的见解。这些报告可用于内部审计、AI 解决方案的改进、监管提交和利益相关者沟通。

这些平台的其他功能包括人工智能数据管理和集成功能。例如，数据质量评估可以帮助组织遵守数据保护法规并评估人工智能系统中使用的数据的完整性和准确性。

人工智能治理平台的结构如图1所示，展示了它们如何整合各个组件。

图 1：AI 治理平台元素

这些平台将道德原则、负责任的人工智能政策和人工智能技术结合成一个支持人工智能治理的统一解决方案：

• 道德：确保人工智能系统符合正在成为强制性考虑因素的组织和社会价值观（例如，欧盟人工智能法案中的基本权利影响评估） 。

• 负责任的人工智能政策：制定和实施分配决策权的政策，确保组织对与人工智能技术的应用和使用相关的风险和决策负责。

• 人工智能技术：利用该技术执行治理指南、政策和标准，并监控人工智能的性能。

在生成式人工智能 (GenAI) 大肆宣传之前，人工智能治理平台就已经存在。然而，GenAI 增加了人们对负责任和道德人工智能的担忧，导致人们重新关注人工智能治理实践。随着人工智能变得越来越普遍，社会越来越意识到哪些问题会使人工智能治理成为主要问题，需要人工智能治理平台系统地解决这些问题。

AI 治理平台市场正在快速发展。支持 AI 治理的供应商包括（但不限于）：Cranium、Credo AI、Fairly AI、Holistic AI、IBM ( watsonx )、Monitaur、Prodago、Saidot、Trustible 和 TrustWise。

对于希望在未来几个月内实施或增强 AI 实践的组织而言，了解 AI 治理平台的组件和功能至关重要。在不久的将来，通过更正式的 AI“宪法”，将基于这些平台构建的负责任 AI 方法纳入法律的势头可能也会越来越大。

公众对人工智能的期望越来越高，责任心越来越强，透明度越来越高，这将增加将这些期望编入权利、义务和监督机制的压力。这将让位于宪法人工智能治理自动化，建立一个框架，为人工智能创新的道路提供更大的确定性、公众信任和集体控制。

为什么流行

人工智能迅速融入各个领域，尤其是那些受到严格监管的行业，这凸显了对人工智能治理平台的迫切需求。随着人工智能技术变得越来越普及，风险的可能性也在增加，例如与社会人类价值观不一致、偏见、缺乏透明度和数据隐私问题。确保人工智能系统不会歧视特定人群、操纵金融市场或控制关键基础设施变得至关重要。这些平台之所以流行，是因为以下几个关键因素：

• 监管压力：全球对人工智能使用和数据隐私的监管日益严格，迫使各组织采用强有力的治理方法。即将出台的法规，如欧盟的《人工智能法案》，要求高风险人工智能系统的提供商确保人工智能的开发方式尊重人权、民主和法治。这些法规将加速对全面人工智能治理平台的需求，以确保合规性并降低法律风险。

• 公众意识：公众对人工智能危害的担忧不断飙升，这促使企业优先考虑人工智能治理实践。维护消费者信任和品牌声誉至关重要，组织认识到透明和公平的人工智能系统对于实现这一目标的重要性。皮尤研究中心 2023 年的一项调查发现，52% 的受访者对人工智能的使用感到担忧多于兴奋。

• 人工智能的进步：人工智能系统正变得越来越先进、普及和自主，例如 GenAI，它可以轻松创建极具说服力但可能有害的内容。这导致组织受到更严格的审查和声誉风险。备受瞩目的人工智能偏见、歧视和虚假信息案例也凸显了对更好的监督和治理机制的需求，进一步推动了需求。

• 科技行业更加关注人工智能治理：谷歌、微软、Salesforce 和 IBM 等大型科技公司已经发布并致力于制定负责任的人工智能指南和方法。其中一些公司还大幅扩充了其负责任的人工智能团队。一些公司还发布了关于其人工智能伦理和治理原则的综合年度报告。其中大部分努力旨在加强监管机构和客户对所采用的人工智能实践的信任。通过自己的榜样，他们还影响其他组织采用类似的治理方法，保持竞争力和信誉。此外，人工智能伙伴关系和IEEE 的“行动中的道德”计划等举措已使许多公司的人工智能治理执行民主化，这些举措目前免费提供人工智能治理方法。

• 大量资金涌入：最近，美国各大基金会组建了 2 亿美元的资金联盟，这是一项重大投资，旨在促进负责任和合乎道德地使用人工智能，这可能会推动更复杂的人工智能治理平台的开发和采用。

• 高管重视：Salesforce 和 AT&T等组织正在设立专门负责监督 AI 系统的高管职位。这一战略举措凸显了最高管理层对 AI 治理的重视，确保将责任和道德考量融入核心业务战略。

启示

随着人工智能的不断发展，其治理将成为组织中持续讨论的话题，而不是一次性的核对清单项目。持续关注治理对于塑造人工智能的未来至关重要，确保它仍然是推动进步的有力工具，同时最大限度地减少潜在危害。

随着 AI 用例的进步，组织将感受到维护和保护客户、监管机构和其他利益相关者信任的压力，这使得 AI 治理平台至关重要。科技行业领导者、政府和国际机构制定的日益完善的监管和负责任的 AI 框架为组织构建和实施 AI 治理实践提供了结构化基础。

这为开发合乎道德和负责任的人工智能提供了更加标准化的方法。许多国家已经制定了国家人工智能战略，作为人工智能愿景的一部分，这些战略呼吁负责任的人工智能治理，并为实施人工智能提供手段和资金。

人工智能治理的技术进步将通过可解释的人工智能、人工智能模型验证和评估、自动化模型监控和可扩展的人工智能治理工具等解决方案提供帮助。这些将帮助组织实施强大的人工智能治理实践。

然而，有些 AI 治理挑战无法仅通过技术解决，需要更广泛的社会和政策解决方案。组织还必须解决 AI 治理实践缺乏标准化的问题，这些问题仍然在碎片化环境中出现。政府和地区不断发展，并为 AI 治理提供不同的指导方针和方法。

另一个主要挑战是人工智能本身的快速发展，这使得很难建立与技术进步同步的强大、一致且面向未来的人工智能治理实践。组织阻力和文化障碍可能会进一步阻碍进展。

确保公平、透明和符合道德规范的人工智能系统需要实施指导方针，并持续训练和监控人工智能系统。这些因素可能会减缓人工智能的采用，并且对许多组织来说，这很复杂且耗费资源。将治理重点放在特定的人工智能用例上，而不是采用“全面”的方法，是目前最有效的解决方案。

尽管面临这些挑战，但仍有公司将人工智能治理实践作为其人工智能运营的一部分。例如，汇丰银行通过建立优先考虑透明度和问责制的治理框架，实施了其数据和人工智能道德使用原则。该银行定期检查其人工智能系统的公平性和偏见性，并通过严格的数据安全措施保护客户隐私。它还对员工进行道德实践培训，并持续监控其努力是否符合法规和社会期望。

另一家组织是联合利华，它实施了包括人工智能保证合规流程在内的人工智能治理框架。该流程评估每个人工智能应用的道德和功效风险。它涉及内部审查、第三方的外部评估和持续监控，以确保人工智能系统符合联合利华的道德标准和运营目标。

行动

• 确保在设计和评估合乎道德和负责任的人工智能方法时考虑多种观点，从而实现更加平衡和公平的人工智能系统。让包括伦理学家、技术专家和受影响社区在内的各种利益相关者参与人工智能治理过程。

• 明确人工智能相关决策和行动的责任和义务。这将提高透明度和信任度，使问题更容易解决。

• 定期对人工智能系统进行审计，以识别和降低风险，确保持续符合管理标准和监管要求。

• 分配资源以培养内部负责任且合乎道德的 AI 专业知识。专门的 AI 治理团队更有可能成功且负责任地扩展 AI 计划。