深度学习的可解释性（三）

1.3可解释性的觉醒

2004年，M.V. Lent 首次创造了“eXplainable AI”（XAI）一词来解释游戏模拟环境中人工智能控制的军事战术行为（Van Lent et al 2004）。尽管这个术语是新术语，但自 20 世纪 70 年代中期以来，研究人员一直致力于开发专家系统的解释（Moore 和 Swartout 1988）。随着时间的推移，XAI 文献呈指数级增长。它包括人机交互、法律法规和社会科学，但不包括计算机科学。

过去 30 年，Web of Science 中的深度学习、可解释深度学习和道德深度学习表明，随着计算密集型系统的不断增加，对可解释结果的研究需求也在增加。并非所有作者都在其作品中使用“interpretability”或“explainability’”一词，因此该调查并不详尽。研究界似乎并未统一采用可解释性评估标准。人们曾尝试定义“interpretability”和“explainability”以及“reliability”和“trustworthiness”的概念，但没有提供如何将它们纳入深度学习模型实现的明确定义（Tjoa 和guan 2020）。在本书的后面部分，有前景的技术和架构设计将为负责任的人工智能环境铺平道路。

在较高层面上，我们讨论了机器如何学习的遗传育种模型，因为它很简单。遗传密码很古老，但我们预计，随着计算能力达到疯狂的峰值，遗传模型将会复兴。然而，目前的焦点是深度学习和卷积神经网络，其中线性代数增加，而简单的可解释性却下降。我们有数千个参数，每个参数都对层和神经元特征之间的连接敏感。网络有很多链接。网络越深，其行为就越难以解释。这类似于转动无线电拨号盘，使神经元更接近答案，例如图像分类。我们不知道该电台的确切频率，但我们可以知道我们是越来越近还是越来越远。类似，但涉及数百万个表盘和大量数学。每当新的训练数据添加到网络中时，都会重复此过程。完成后，模型可以很好地识别新图像，但有一些限制。

我们专注于向人类解释深度学习系统，这意味着用简单的术语展示系统的功能。虽然“explainability”比“interpretability”更直观，但我们仍然需要定义它。正式的定义仍然难以捉摸，因此我们在心理学领域寻找线索。 T. Lombrozo 在 2006 年表示，“解释对于我们的理解以及我们交换信仰的货币至关重要”（Lombrozo 2006）。诸如什么是解释、是什么让某些解释比其他解释更好、如何做出解释以及人们何时寻求解释等问题才刚刚开始得到解答。

事实上，心理学文献中“explanation”的定义范围从演绎法学观点（Hempel and Oppenheim 1948）（其中解释被视为逻辑证明）到对事物如何运作的更普遍的理解。 Keil (2006) 最近将解释定义为“隐式解释性理解”。提供和接受解释过程中涉及的所有活动都被视为解释所需的一部分。有趣的是&#x