Gartner发布企业人工智能治理指南：以企业通用治理框架为基础，确定针对框架六大支柱的AI特定因素

人工智能（AI）不仅发展迅速而且可能会放大人类的偏见，如何对其实施有效的治理是数据和分析领导者面临的一个挑战。本文提供了一种全面的方法，可用于扩展企业的治理框架，引入信任、透明度和多样性等AI特定的考虑因素。

主要发现

• 人工智能（AI）正在成为企业运营和业务的关键支撑。鉴于其重要性、可扩展性和全民化趋势，企业必须对其实施有效的治理，以平衡此类技术的价值与其带来的新风险。

• 无论在哪个领域，良好的治理都体现出类似的特征，而这些共同的支柱同样可以为AI治理提供组织框架和基础。

• AI技术格局持续演变，涉及大量对规模、可解释性、易用性、速度、技能和成本的权衡。这种复杂性，以及AI本质上作为预测性和生成式技术所固有的模糊性，导致人们难以准确判断AI可能会对企业声誉和业务以及对整个社会产生怎样的影响。

建议

• 采用Gartner通用治理框架作为企业AI治理的基础模式，而后确定针对该框架的每一个支柱需要考虑哪些AI特定的因素。

• 界定AI用例的重要性等级，确保AI治理聚焦最关键的部分，同时建立问责制，明确相关业务、技术和伦理责任的归属。

• 尽早就平衡AI价值与风险的问题展开讨论，以便企业能够遵守即将出台的AI法规，采取合理、合规的AI举措。

• 确保多方参与，与安全、风险、审计、采购以及合规等领域的利益相关者合作，确定为实施AI治理需要采取的行动。密切关注AI工作的进展情况，以及时发现发现需要对角色、组织结构、领导力和交付要求做出调整的情况。

导语

定义：人工智能治理是针对人工智能技术的实施和使用，制定政策、分配决策权并确保落实企业机构风险和决策责任的过程。

AI的治理难度较高，因为企业机构必须在技术格局高度复杂、技术本身充满模糊性和快速演变的情况下，同时满足安全性和价值两方面的需求。在治理缺位的情况下扩大AI的实施规模，不仅效果欠佳而且会引发安全风险。与此同时，社会也对企业机构提出了要求，其AI使用必须透明、可问责并且符合伦理规范。要满足这些要求，并在支持AI工作取得进展的同时平衡价值与风险，企业机构必须实施AI治理。

不过，企业机构的AI治理必须能够体现这一强大范式的跨职能和预测性质。并且，应通过扩展现有的治理框架来建立AI治理，以便利用自身现有和熟知的治理方法，使AI治理变得更加易于接受和理解。

分析

采用Gartner通用治理框架作为AI治理的基础框架

无论是在数据和分析（D&A）、风险、IT还是其他领域，良好的治理都体现出类似的特征。鉴于此，D&A领导者应遵循Gartner通用治理框架，围绕六大支柱组织企业的AI治理工作。如图1所示，Gartner通用治理框架包含六大支柱：授权和范围、组织结构和角色、流程、决策权、文化以及沟通。

图1：六支柱通用治理框架

针对通用治理框架的每个支柱，确定AI治理特有的挑战

在采用Gartner通用治理框架的基础上，D&A领导者可以首先与其他AI治理领导者合作，确定本节介绍的六个方面的治理举措所能产生的协同效应，以应对新的问题。

授权和范围

“授权”和“范围”即基于主要高级领导者授予的权限和支持建立AI治理。

重点关注：

• AI原则

• AI治理章程

• 高管支持

AI治理能力旨在执行和落实AI战略和愿景，合理设定这一能力的权限和范围，可以帮助AI治理团队更好地支持AI工作的推进。

为设定AI治理的范围，领导者应确定重点决策领域（如战略、投资、风险、价值、绩效和资源），并建立可以支持AI治理团队进行决策的治理机制。为此，应制定并落实对企业机构具有重要意义的AI治理原则。信任、透明度和多样化等原则可以为AI治理指明重点。或者，如果企业机构与美国 国家标准与技术研究院（NIST）或 电气工程师学会（IEEE）的关系较为密切，也可以采用这些机构提供的行业框架。

“AI治理章程”旨在概述AI治理原则和重点领域体现出的AI治理范围。此外，还应明确规定治理团队在上述范围内的行动权利和权限，以及这些权利和权限的执行机制，包括治理组织结构和角色（参见“组织结构和角色”部分）。

争取高管（最高管理者或高管委员会）对AI计划的支持，并清除阻碍AI治理取得成功的因素，是获得AI治理授权的最佳方法。

主要建议

• 确保所有行动均基于明确的意图。在AI法规尚未最终敲定和生效的情况下，这一点尤为重要，可以帮助企业机构在法规生效后为自身的行动进行辩护。此外，应尽早就平衡AI价值与风险的问题展开讨论，并且在讨论中应重点关注AI用例。

• 制定AI治理章程，这对于实施有效的AI治理不可或缺。

• 就相关的AI原则与利益相关者达成共识。确保治理决策的透明度，展现对于隐私、人权、知识产权或客户安全等敏感问题给予了哪些考虑。记录AI决策背后的事实依据和缘由。

• 根据AI工作进展情况，相应扩大AI治理的范围。

组织结构和角色

AI治理机制正常运转所需的角色、责任、技能和组织结构。

重点关注：

• 治理职能

• 治理部署方式

• 参与角色

决定负责AI治理工作的治理职能——进而可以确定需要采取的组织结构和设立的角色。如果是通过扩展D&A治理框架来建立AI治理的情况，可以利用IT Score for Data & Analytics这一针对D&A职能的战略规划工具来完成这项工作（图2展示了数据和分析IT Score职能行动图，其中红色方框以内的部分是特别针对AI的行动）。IT Score不仅引入了AI目标而且涵盖分析内容创建，两者是AI运营模式的关键组成部分。AI治理职能需要：

• 管理AI风险

• 采用AI技术

• 实施和扩展AI

• 创建和维护预测模型

图2：数据和分析职能行动图中特别针对AI的行动

确定AI治理的部署方式——中心化、去中心化或混合部署。根据经验，AI治理的部署方式应与D&A治理方式保持一致。对比2023年和2021年Gartner企业AI调研的结果可以发现，1AI能力的部署方式正在发生转变，从去中心化部署变为中心化（集中在AI团队）或混合部署。对于AI人才，企业多采取中心化的组织结构（47%），但不同地区的采用率存在差异——北美（51%）显著高于欧洲（41%）。多层级组织结构模式的采用率稍低（36%），在这种模式下，一个中心化团队（中心）与若干去中心化团队（辐射）和社区合作开展AI工作。

AI治理需要多方角色的参与，他们既可以是治理职能的固定成员也可以是合作者。具体而言，可以包括D&A、应用、企业架构、法务、隐私、合规、审计、采购、风险管理或业务领域（如客户服务）的代表，他们中的一些或全体将共同决定为实施AI治理需要采取的行动。此外，AI治理职能应参与提升人才技能，以及创建实践领域、卓越中心和实践社区等人才组织。

主要建议

• 确保多方参与，建立并完善AI治理组织结构，负责制定与AI相关的业务决策。密切关注AI工作进展，以及时发现发现需要对角色、组织结构、领导力和交付要求做出调整的情况。

• 就新的（和意料之外的）挑战做好准备。必要时可组建临时团队来应对和解决这些挑战。

• 构建具备跨领域技能和经验的团队，这些领域包括AI伦理、负责任的AI、设计、开发、部署、评估和AI系统监控。团队成员可以承担AI管家的角色——与D&A治理组织结构中的数据管家相当。

流程

AI治理有效运转所需的运营、评估和程序。

重点关注：

• 标准

• 政策

• 指南

创建基本的标准，支持AI工作的顺利推进。如不尽早制定标准，每个实施AI的团体都将形成自己的方法，这不仅会导致工具激增，而且会拖慢AI在企业中的扩展速度。此类标准可以涉及协作、数据准备、数据格式、元数据、活动跟踪、日志、偏见缓解和工具等。

评估当前政策和流程存在的缺口，确保AI和D&A治理在政策管理方面的一致性。必要时，可以制定新的政策对现有政策（如数据安全政策）进行补充。例如，可以使用Gartner的工具Tool: Generative AI Policy Template制定生成式人工智能（GenAI）政策。对于公共部门的企业，AI政策尤其引人注目且具有较高的影响力和重要性，D&A领导者可参考Top Trends in AI Public Policy and Regulations for 2024来制定自身的AI政策。此外，还需要概述针对参与者出现意见分歧等两难问题的解决程序，或者针对开放式AI出现问题等情况的上报程序。

制定AI指南，以推动创新和最大限度降低风险。全面了解AI生命周期（请参阅Operationalize Machine Learning by Using Gartner’s MLOps Framework），进而确定针对AI生命周期的每个环节需要采取的治理行动以及需要制定的政策和指南。AI指南可以涉及：

• 里程碑，例如定义最简可行产品，以实现AI的运营化。

• 必须采取的行动，如停止/启动/继续。

• 必须具备的要素，例如针对每项AI实施建立反馈循环，以确保AI的采用并处理异常。

• 特定用例。

主要建议

• 发布并阐释AI标准、政策和指南，确保使用平实和受众容易理解的语言。鉴于偏见是AI蕴含的最大风险之一，至少应就提高AI的可解释性和减少偏见制定标准和指南。

• 建立AI审核和验证流程：概述在AI可解释性和对抗测试方面的要求；开展合规测试和审计；进行事实核查；管理模型中的偏见；以及为员工提供与AI就绪型数据相关的培训。

• 要求内部各方在开发任何自动决策系统之前进行风险和影响评估。将自我评估嵌入AI开发流程。建立可重复的AI审查和验证流程，以降低风险并负责任地部署AI。

决策权

该框架确立了决策的权限和责任。

重点关注：

• 业务决策

• 技术决策

• 伦理决策

每一项治理决策都涉及利用特定的专业知识来解决重要的难题。举例而言，不应将可能产生社会影响的决策交由数据科学家来制定。

AI治理最重要的属性，是提出和解答与AI价值和风险相关问题的能力。

为解答相关问题、进而制定决策，法务、隐私、安全和伦理方面的专家可能会就需要做出的权衡展开讨论。AI治理委员会的终极职责，是记录不同选择的优势和局限并最终做出决定。对于有权针对AI治理的各个方面做出业务决策的人员和团队，应明确界定他们享有的决策权和担负的责任。图3展示了AI治理的四个维度，包括：

• 组织维度——平衡业务价值与企业风险。

• 客户/公民维度——平衡个人隐私与便捷性

• 员工维度——平衡信任与控制

• 社会维度——平衡公共安全与自由，通常体现为遵守监管法规。

图3：人工智能治理的四个维度

成功的AI治理离不开成功的技术决策。在这一方面，D&A领导者需要回答两个主要的问题：

• 技术团队的每个成员是否完全了解自身的工作？

• 技术团队以外的人员是否了解该团队交付的成果？

这两个问题的答案，决定了D&A领导者需要在模型管理、AI验证和安全认证方面做出怎样的决策。赋予技术专家或工程委员会以适当的决策权。某些决策的制定，需要结合技术与业务洞察力；例如，合同需求的确定及合同审核需要由采购、法务和技术专家合力完成。

在技术、法律和法规之外，还有AI伦理这一决策难度最高的领域。

主要建议

• 确定组织、社会、客户和员工维度AI治理工作的负责人，通过充分利用他们的专业知识和视角，对其决策权进行区分。

• 定义用例的重要性级别，确保决策聚焦最关键的AI工作，并基于明确的业务、技术和伦理问责机制对这部分工作实施积极的治理。

• 对于非关键的AI工作，赋予决策者更大的自主权。确保使用AI工具的员工认识到，他们需要对最终的结果负责。

• 与内部利益相关者合作，确定针对供应商的问责要求和AI治理指南，以便纳入供应商评估与合同。

文化

促进或阻碍治理成果实现的规范、价值观、信仰体系和实践。

重点关注：

• 组织和社会价值观

• 治理文化

• 偏见缓解

着力创建与企业文化相一致的AI治理原则和指南。AI可以转变企业的文化，使其最终成为每位员工都可以使用AI的AI优先型企业。确保AI原则和指南能够体现企业机构的价值观。不同的企业在AI治理中关注的重点有所不同，这也是为什么现实中部分企业重点追求负责任的AI，其他则希望打造值得信赖的AI或者符合伦理的AI。企业最常遵循的五个AI伦理原则是：

• 以人为本，造福社会

• 公平

• 透明、可解释

• 安全

• 可问责

AI治理必须就如何减少偏见，在技术和业务两个层面提供指南和验证要求，同时将文化差异以及旨在保护个人和群体权利的法规考虑在内。AI蕴含的偏见可能与种族、性别、年龄、地点或时间有关，也可能体现在偏好某种数据结构或者倾向于解决某种问题。这些偏见会影响企业乃至整个社会对此类技术的接受度。对于跨国企业，偏见是一个相当棘手的问题，因为不同国家的文化规范和相关法规存在差异。例如，某种动物在一种文化中是无害的，在另一种文化中则可能具有冒犯性；甚至，同一国家不同司法管辖区的消费者保护法也可能存在差异。

主要建议

• 推动文化转型，以适应AI带来的机遇或威胁。提供安全的实验环境；为AI人才的成长创造条件；防止人才流失。

• 建立AI治理，有意识将文化、性别、年龄、技能、背景和素质方面的差异考虑在内，以便公正地选择问题，做出最佳权衡。

• 扩展D&A治理，识别数据中存在的偏见，通过引入来自不同数据源的新信息改进训练数据。

沟通

用于传达信息和指导决策的说明、政策、渠道和内容。

重点关注：

• 信任度

• AI采用

• AI素养

AI迅速成为了公众关注的焦点，而许多人对AI的印象主要受到了媒体和流行文化的影响。D&A领导者应确保传达AI的真实情况，并解决人们担忧的问题，以支持AI工作的推进。构建并推广适用于企业机构的AI定义，可以帮助员工对AI建立共同的理解，进而汇集所有人的力量。切勿忽视任何员工普遍担忧AI会对其工作造成威胁的情况。积极建立与AI计划高管支持者的常规沟通渠道。

广泛传达一点：AI是基于概率的技术，这是此类技术与其他广为人知的技术（基于确定性）之间最主要的差别。这意味着，AI输出的结果将始终存在例外。不过，AI可以通过迭代实现改进，而这种改进极大程度上依赖于用户的反馈。

确保受众可以通过某种渠道提供反馈，以便及时捕捉例外情况并对所交付的AI成果进行调整，进而提高AI的采用率。向受众展示这种反馈的重要性以及为最终结果带来的改善，这也是赢得用户信任的一个好方法。

AI采用率是衡量所有AI计划成功与否的重要指标。治理指南和举措应能够促进AI的采用，并最大限度减少用户面临的阻碍。应以明确、一致的方式，向目标受众传达AI政策、指南和标准。鉴于AI解决方案将以迭代的方式实现改进，应帮助利益相关者对AI交付价值的时间和方式设定合理的预期。为提高AI的采用率，应定期向利益相关者传达AI工作的进展情况，如成功达成了目标，则应广泛传达每个目标的实现方式和程度。

确保利益相关者能够获得与AI系统的设计、运行和局限相关的信息，以提高AI工作的透明度、增进利益相关者对AI的信任。利益相关者对AI的信任度存在较大差异，一方面对AI解决方案缺乏信任，另一方面对GenAI输出结果却过度信任。AI素养是解决盲目信任问题的良药，同时也可以帮助利益相关者基于了解建立对AI的信任。了解D&A治理中旨在提升数据素养的举措。从这些举措入手，担负起培养和提升AI素养的责任。

主要建议

• 预先向利益相关者阐释AI治理可以为其带来的益处，以便他们能够就AI治理即将为其日常工作带来的变化做好准备。

• 帮助利益相关者建立预期，即AI将会不断发展、改变方向，并随着技术的不断成熟而展现出更大的影响力。

• 与人力资源（HR）、高管和业务领导者合作制定AI素养计划，评估技能和培训需求，设计技能提升路线图，并确定培训绩效指标。