可信AI治理框架探索与实践

可信AI治理框架探索与实践

夏正勋，唐剑飞，罗圣美，张燕

星环信息科技（上海）股份有限公司

 摘要：人工智能进一步提升了信息系统的自动化程度，但在其规模应用过程中出现了一些新问题，如数据安全、隐私保护、公平伦理等。为了解决这些问题，推动AI由可用系统向可信系统转变，提出了可信AI治理框架——T-DACM，从数据、算法、计算、管理4个层级入手提升AI的可信性，设计了不同组件针对性地解决数据安全、模型安全、隐私保护、模型黑盒、公平无偏、追溯定责等具体问题。T-DACM实践案例为业界提供了一个可信AI治理示范，为后续基于可信AI治理框架的产品研发提供了一定的参考。

关键词：可信AI ; 治理框架 ; AI公平伦理 ; AI可解释 ; AI监管

论文引用格式：

夏正勋, 唐剑飞, 罗圣美, 等. 可信AI治理框架探索与实践[J]. 大数据, 2022, 8(4): 145-164.

XIA Z X, TANG J F, LUO S M, et al. Exploration and practice of trusted AI governance framework[J]. Big Data Research, 2022, 8(4): 145-164.

0 引言

人工智能（AI）的蓬勃发展是人类社会的重大历史事件，其开创了一个新的时代。随着AI技术的快速发展，AI应用的规模愈加庞大，IDC预测AI应用市场规模有望在2024年突破5 000亿美元大关。但随着AI应用的深入，一些深层次问题逐渐暴露出来，比如使用脸部照片、人脸视频、3D头套等方式恶意欺骗人脸识别系统；在交通标志上添加一个不显眼的对抗扰动，误导并改变自动驾驶汽车的行车路线；通过毒化数据的方式，在模型中添加后门，从而控制模型的行为；“大数据杀熟”和“数字剥削”等恶意使用AI的行为。上述AI安全伦理问题引发了人们对AI系统可信性的担忧，阻碍了AI的进一步发展，已经成为亟待解决的问题。

如何打造可信的AI系统已经成为政府、企业的关注重点。本文分析了AI系统在当下遇到的可信问题与挑战，从技术和管理两个维度出发，提出了一种通用的可信AI治理框架——T-DACM（trusted data ＆ algorithm ＆ computation ＆management）。T-DACM具体包括可信数据、可信算法、可信计算、可信管理4个层次，覆盖了数据安全、模型安全、隐私保护、风险控制、过程管理、可解释性、公平伦理、追溯追责等AI热点问题的解决方法，为企业及监管机构提供了一种可行的可信AI解决方案。

1 国内外研究进展

可信是AI技术的自身要求，也是AI产业发展的要求。统计模型存在类似“射手假说”的问题，AI不可避免地有被误用、滥用、恶意使用的风险。为了降低这些风险，国外对可信AI的研究主要从安全及数据隐私方面入手，兼顾AI使用过程中的伦理道德，制定了相关的法律法规。

2014年Goodfellow I J等人提出用模型对抗训练的方法来防御对抗样本攻击，增强模型的安全性；2016年Ribeiro M T等人提出一种生成解释方法来解释模型的决策过程，提升模型决策的透明性；2018年Gidaris S等人提出一种元学习方法来提高模型在未知领域数据上的泛化能力，降低模型的误用风险；2019年Nguyen H H等人提出使用多任务学习的方法来提高模型的领域泛化能力，降低模型误判的风险；2019年Iosifidis V等人提出一种基于重采样的方法来消除数据中的偏见，提升模型的公平性；2021年Sauer A等人提出一种反事实图片的生成方法来协助分类模型找到更稳定的因果特征，提升模型的泛化能力。

与此同时，在可信AI治理指导原则方面，2018年欧盟提出了《人工智能道德准则》，提出可信AI的5个指导原则：福祉原则、不作恶原则、自治原则、公正原则、可解释性原则；2020年Shin J等人提出构建一个可信AI系统需要重点考虑AI应用的再现性、可解释性和公平性；2020年英国信息专员办公室提出了《解释AI做出的决定》，提出算法透明度可以从原理解释、责任解释、数据解释、公平性解释、安全与可靠性解释及影响解释6个方面实现。2021年，Winter P M等人提出，可信的AI应用需要重点关注机器学习（machine learning，ML）关键理论理解、质量评估手段、领域泛化、置信度量手段、道德伦理、用户可接受度、抗攻击能力等方面。

国内对可信AI的技术研究基本与国外同步，在可信AI治理配套的法规方面，从网络安全、数据安全、个人信息多维度入手，更加全面，职责明确，易于实施。在可信AI技术研究方面，2017年Meng D Y等人提出基于数据增强和样本检测的MagNet方法来防御对抗样本攻击；2018年Kuang K等人提出一种基于样本加权的因果预测算法DGBR来提高模型对未知环境的适应能力；2019年Zhang Q S等人提出一种基于决策树的替代模型方法来解释卷积神经网络（convolutional neural network，CNN）模型的决策逻辑；2019年FENG R等人提出一种基于对抗框架的数据表示方法来消除数据集中对特定群体的偏见；2021年Zhao Y Y等人提出一种多源元学习框架来增强模型的领域泛化能力。

在可信AI治理指导原则方面，我国于2016年颁布了《中华人民共和国网络安全法》，要求网络运营者保障网络免受干扰、破坏或者未经授权的访问，防止网络数据泄露或被窃取、篡改。2019年我国提出了《新一代人工智能治理原则——发展负责任的人工智能》，强调了和谐友好、公平公正、包容共享、尊重隐私、安全可控等8条原则，从而逐步实现可审核、可追溯、可信赖的AI；2020年中国信息通信研究院提出了《人工智能安全框架（2020年）》，其从AI安全技术、AI安全管理两个方面设计AI安全框架，对AI安全能力进行分级，提出了合法合规、功能可靠可控、数据安全可信、决策公平公正、行为可解释、事件可追溯的AI安全目标；2021年6月通过的《中华人民共和国数据安全法》要求机构开展数据处理活动时，应当遵守法律、法规，尊重社会公德和伦理，遵守商业道德和职业道德，诚实守信，履行安全保护义务、承担社会责任，不得危害国家安全、公共利益，不得损害个人、组织的合法权益；2021年8月通过的《中华人民共和国个人信息保护法》要求机构在利用个人信息进行自动化决策时，要建立算法影响评估制度进行事前风险评估，建立算法审计制度审计活动遵守法律、法规的情况，保证决策的透明度和结果公平合理。

综上所述，围绕可信AI的问题，学术界、产业界及政府均进行了不同方向的探索，取得了一些成果，但可信AI的落地尚存在一些问题：首先，大多可信方面的研究还停留在理论分析阶段，在产业界尚未进行大规模应用；其次，可信AI涉及的技术领域较广，目前尚缺少一个通用模式将诸多可信AI技术有机结合起来；最后，针对AI系统的行为，缺乏完善的监管系统。因此，需要一个统一的可信AI治理框架，对可信AI涉及的管理及技术因素进行统筹考虑，以满足学术界、产业界及政府三方对可信AI的迫切需求，完成AI系统由可用系统向可信系统的转变。

2 可信AI治理框架简介

本文在现有理论及技术研究的基础之上，结合应用场景，对可信AI治理进行了探索与实践，提出了T-DACM ，如图1所示。

图1　T-DACM

T-DACM由下而上分为4层，分别是可信数据（trusted data）层、可信算法（trusted algorithm）层、可信计算（trusted computation）层、可信管理（trusted management）层，具体如下。

● 可信数据层为可信AI提供了数据基础。其具体包含异常数据检测、偏倚消除、偏见消除、数据增强等组件，可以检测异常样本，保证模型正常工作，对异常