6、人工智能可解释性：挑战与机遇

人工智能可解释性：挑战与机遇

1. 可解释性——正确的工具

开发影响用户或环境的新系统需要科学和道德层面的理解。深度学习（DL）模型训练不完整的表现包括目标不匹配、数据收集有缺陷、数据使用难以理解、结果不理想或易受对抗攻击。模型性能和可解释性之间存在多目标权衡，同时要考虑用户的专业知识。这两者就像两只眼睛，从用户的角度来看，解释是规则的一部分，必须同等重视这两个方面，才能为未来打造负责任、强大且可问责的人工智能。

1.1 人工智能解释的重要原则

Swartout和Moore对“第二代可解释专家系统”的回顾列出了人工智能有用解释的五个普遍期望，从中我们可以学到重要原则：
1. 保真度 ：解释必须准确反映系统的实际行为。
2. 可理解性 ：包括术语、用户技能、抽象程度和交互等多个可用性因素。
3. 充分性 ：人工智能应能解释功能和术语，并为决策提供依据。
4. 低构建开销 ：解释系统不应在人工智能设计成本中占主导地位。
5. 效率 ：解释系统不应显著降低人工智能的运行速度。

此外，用户在构建可问责的系统时应具备道德考量、知识相关考量和方法合理性。

1.2 公平性相关问题

公平性包括检测影响受保护群体的数据集偏差的提议。黑盒模型可能会因考虑种族、年龄或性别等敏感因素而无意中做出不公平的决策。不公平决策可能通过明确考虑敏感属性或隐含使用与这些属性相关的因素导致歧视。例如，基于邮政编码的