可信AI技术和应用进展（2023 信通院白皮书）

人工智能技术的风险隐患：

1.深度学习算法存在的设计漏洞、恶意攻击等问题引发安全风险，人工智能系统可靠性难以得到足够信任。

2.算法的高度复杂性和不确定性、模型运行的强自主性导致黑箱问题和不可解释性。

3.数据中已经存在的偏见歧视可能被算法进一步固化，导致生成的智能决策形成偏见。

4.训练数据的收集、使用、共享可能导致对个人隐私的侵犯和滥用，用户常常需要在AI带来便利与隐私保护之间寻求平衡。

可信AI解决方案：

一、AI鲁棒性技术研究对抗恶意攻击

1.鲁棒性问题成因

随机攻击：在自然条件下随机发生的，例如随机噪声、缺失、分布漂移。

盲盒攻击：基于先验条件下的攻击，例如文字同音词替换、图像风格迁移。

黑盒攻击：不能够获取模型的参数信息，但能够获取模型推理结果。

白盒攻击：被攻击模型的模型参数可以被获取，通常用于评估最坏情况下的模型安全和鲁棒性。

高回报的场景如人脸识别更多面临黑盒攻击，而实际业务场景则更常见随机攻击和盲盒攻击，白盒攻击在实际业务中较为少见。

2.防御手段

基于检测的防御

预处理防御

模型结构加固

鲁棒性loss

对抗样本训练及对抗参数训练

二、AI可解释性技术提升决策透明度

分为两类：1.关注提升模型白盒化和透明性，例如基于梯度、基于模型结构、基于扰动、注意了机制等算法，提供模型结果的解释性。2.研究吸收已有的专家经验，例如可及时检索、逻辑图谱等算法，使得模型结果符合人工的逻辑推理过程，出现了诸如人机结合、逻辑融合等更前瞻的领域能力，在源头上提升模型与人工经验的吻合度。前沿的思路是将上述两种方式进行整合，即专家知识引入模型的训练过程，模型的可解释结果可以用来指导专家经验的构建，得到可交互、可视化的人工经验AI管理系统，从而保障模型的透明性。

1.用于模型归因的可解释

模型归因所使用的特征通常经过人工构造，具有业务视角的可解释性，输出结果相对标准化。可解释的方法和工具可以帮助用户深入了解模型的决策过程，从而提高模型的可理解性和可靠性。可解释的方法和工具可以帮助用户深入了解模型的决策过程，从而提高模型的可理解性和可靠性。基于线性模型和树模型的特征可解释算法在业界应用较为成熟，常见的有基于扰动的方法（如Shapley可加性解释SHAP）和基于模型内部结构的方法（如ELI5决策树解释器ELI5 tree）。

序列模型，与计算机视觉和自然语言处理等领域不用，序列模型的输入数据通常是呈现为序列形式的事件数据，一个典型的用户行为序列包括注册、登录、信息修改、支付等事件，每个事件都带有丰富的属性（如时间戳、金额、设备信息），通过属性、子序列和模型级别的可解释性算法可以对模型的输入数据、序列信息、序列组合进行分析和解释，基于注意力机制的方法或者基于梯度和分解归因的算法，如逐层相关性传递算法LRP、积分梯度算法IG等方法得到类似热力图高亮，seqSHAP（序列型SHAP算法）和KernalSHAP（核心SHAP算法）将时序因素纳入考虑的方法，如在模型表征层加入扰动的seqMask（序列型掩码）方法等。

序列模型尤其是深度学习模型，因其复杂性和黑箱特性，模型的解释性往往需要结合专家知识进行辅助性判定。

2.复杂关系网络的可解释性

复杂关系网络中节点关系错综复杂，传统的统计分析方法往往难以捕捉，而图模型可解释正式一种能够可视化抽取复杂关系网络信息的方法。常见的图模型可解释方法包括节点可解释、路径可解释和子图可解释等。

3.融合专家知识的可解释

复杂常见的可解释性往往需要依赖AI模型和领域专家知识的有效互补。一些行业基于领域专家先验知识和知识图谱的逻辑可及时方法，在知识融合上做了有价值的创新。

三、数据模型安全和隐私保护

多方安全计算

可信执行环境

联邦学习