AI explanation rough reading（2020）

人工智能已经成功运用在自然语言、多媒体、计算杋视觉、语音和跨媒体等相关的特定领域。然而，这一架构在“端到端”模式下、通过计算大量数据来进行误差后向传播而优化参数的学习方法被比喻为一个“黑盒子”，可解释性较弱，人们普遍难以相信一个不可解释的黑盒子模型做出的决策。虽然我们造出了准确度极高的机器，但最后只能得到一堆看上去毫无意义的模型参数和拟合度非常高的判定结果。实际上模型本身也意味着知识，我们希望知道模型究竟从数据中学到了哪些知识（以人类可以理解的方式表达的），从而产生了最终的决策。深度学习作为当前人工智能的核心驱动，其可解释性对于人工智能有着非常重要的意义：一方面，可解释性是保障人工智能安全性的个重要手段，如果算法能够说明所做决策的依据，人们就可以通过分析依据的合理性和内在逻辑评估算法的安全性；另一方面，可解释性有利于加速推广人工智能的落地应用。目前关于深度学习的可解释性方法可分为以下三类：
一、在建模之前进行解释工作
这一类方法其实主要涉及一些数据预处理或数据展示的方法。在建模之前的可解释性方法的关键在于帮助我们迅速而全面地了解数据分布的特征，从而帮助我们考虑在建模过程中可能面临的问题并选择一种最合理的模型来逼近问题所能达到的最优解。数据可视化方法就是一类非常重要的建模前可解释性方法。在真正要研究一个数据问题之前，通过建立一系列方方面面的可视化方法来建立我们对数据的直观理解。
二 建立本身具备可解释性的模型
建立本身具备可可解释性的模型大致可以分为以下几种：
1.基于可解释模块的神经网络学习方法，这些神经网络的中间层不再是黑盒子，而是具有明确的语义。通过建立可解释性的卷积神经网络或胶囊网络，会在算法的运行过程中自动显示网络的不同特征，以帮助人们更好地理解网络中的逻辑。
2.将神经网络和结构化的逻辑规则相结合，利用逻辑规则的灵活性来提升神经网络可解释性。
一般来说用过建立具有直观逻辑的损失函数或可解释性更好的新型损失函数来解释网络学习到的特征，提高网络的可解释性。
3. 基于稀疏性的方法。主要是利用信息的稀疏性特质，将模型尽可能地简化表示。比如用一些更泛化的主题概括一些小的主题，从而可以使我们更容易理解特定主题所代表的含义。
三、在建模之后使用可解释性方法对模型作出解释
建模后的可解释性方法主要是针对具有黑箱性质的深度学习模型而言的，主要有下几种方法：
1.卷及神经网络的可视化：对卷积神经网络 ( Convolutional Neural Net-works，CNN)中学习得到的滤波器进行可视化是探索神经元内部模式最直接的方式。基于梯度的方法是卷积神经网络可视化的主要方法。输入一张图像，这些方法计算图像所对应的 CNN 中神经元的梯度，然后利用梯度来估计使神经元响应最大的图像外观。上卷积网络( up-convolutional networks)是另一种可视化卷积神经网络的技术。
2. 利用传统机器学习模型进行解释：在提出的可解释图（一种无监督学习的方法）方法基础上，通过决策树来定量解释卷积网络的预测逻辑。决策树通过一种由粗到细的方式对这些潜在决策模式进行重组，也就是说，给定输入图像，使用CNN来进行预测。决策树将揭示卷积层中哪些滤波器会参与预测以及这些滤波器对预测结果的贡献程度，从而定量解释CNN的预测逻辑。