深度学习的可解释性（一）

书名：Interpretability in Deep Learning

作者：Ayush Somani ，Alexander Horsch ，Dilip K. Prasad

前言

目前与深度学习、机器学习和神经网络相关的研究生课程中，缺乏涉及可解释性/可解释性主题的教学/学习材料。这主要归因于机器学习界之前关注的焦点是精度，而可解释性问题是一个新兴话题。然而，随着书籍、讲义、新课程以及观点的出版，它作为越来越相关的主题而受到关注。尽管如此，这些作品对通用机器学习的关注意味着深度学习的可解释性问题目前仍然没有得到足够的深度解决，深度学习现在广泛应用于各种机器学习应用程序中。因此，这本教科书将成为专门讨论该主题的先驱教科书之一。

第一章，介绍了本书的背景和动机。总结了深度学习的演变，如何产生的众所周知的编码但不解释知识的黑匣子范式，讨论了可解释性问题的必要性和挑战。本书的重点是解决现有深度学习框架中的可解释性问题。

第二章，介绍了深度学习中的各种当代主题，包括传统的神经网络架构、学习机制以及深度学习中的挑战。涵盖卷积、自动编码器、对抗、图和神经模糊网络。

第三章，在深度学习方法的一般特征的背景下讨论可解释性的概念。首先讨论神经元和特征尺度上的知识抽象编码，然后讨论抽象编码的可解释性和可视化。从理解概念、优点和缺点的角度讨论了激活图、显着性、注意力模型等传统技术。接下来是分析知识在优化或学习过程中如何传播，以洞察使用深度学习模型所学知识的可解释性的挑战和机遇。神经网络使用连续的非线性激活来提取特征，这使得知识的表示变得困难，同时对噪声和不完整的数据区域敏感。最后，讨论了具有竞争性能的深层编码与浅层编码的解释。

第四章，专门讨论特定个体架构的可解释性方法。本章选择的架构是卷积神经网络、自动编码器网络、对抗网络和图学习技术。卷积神经网络的“卷积迹”的新概念、自动编码器网络潜在空间中抽象特征的可解释性、对抗网络中判别模型的可解释性以及图嵌入图神经网络的可解释性。我们为每种架构提供至少一个案例研究，包括来自各个应用领域的案例。我们还简要关注注意力网络，它本质上包括设计中可解释性的某些方面。

第五章，专门讨论模糊深度学习。该方法系列与以神经网络为中心的深度学习略有不同，因为模糊逻辑和基于规则的推理是此类网络的神经网络设计的核心。

第一章 可解释性介绍

人工智能 (AI) 和现代计算吸引着越来越多的人。看到它们如何从仅仅模仿人类行为的印象发展到超越人类水平的表现，这真是令人着迷。深度学习（DL）模型的引入具有多层架构，允许抽象的低级特征提取并拥有