AI可解释性主体

一、AI可解释性

1.什么是可解释性？

可解释性，就是我们需要完成一件事的时候，我们能获取到的足够多的，能让我们自己理解的信息。当我们不能获得足够多的信息，来理解一件事情的时候，我们可以说这是不可解释的。所以，解释性的目的就是以人的思维来理解事物，让人能懂。但是在深度学习模型中，建立模型的时候往往没有考虑到它的可解释性，特别是在深层网络中，我们不知道它是怎么运作的，我们没有足够信息来处理为何模型得出这样的结果。所以我们认为深度学习的模型是一个黑箱，我们知道它的结构，但是我们不知道它为何会产生这样的结果。

2.为什么要研究AI的可解释性？

如前所述，AI是一个“黑箱”，我们并不知道是哪一部分输入影响了它产生我们希望得到的结果。贝叶斯网络的制造者Pearl说过：“几乎所有的深度学习突破性的本质上来说都只是些曲线拟合罢了。” 特别是在监督学习中，我们需要训练模型，接着验证模型，再测试模型，接着进行不断地优化，调参，在不发生过拟合的情况下让模型尽可能地拟合数据。这个过程中，我们甚至不知道是哪个参数合适，只能根据经验设置参数数值，然后像玩猜数字游戏一样，不断接近那个最佳值。我们调整它们的唯一依据，就是输出结果，训练了几天几个月的模型可能因为调参，又需要重新开始训练。这是极度浪费时间和精力的，特别是在需要进行快速商业化的今天，时间是十分宝贵的。因此，我们迫切需要一个可以指导我们设置参数，评估模型的哪一部分，哪些数据对模型结果的影响最大，或者左右了结果产生的说明。这就是可解释性在AI中发挥的作用，它就像一本指导手册，它可以让这个“黑箱”更加透明。

3.可解释性的方法

解释模型的方法分为建立模型前的方法，建立模型时的方法，和建立模型后的方法。建立模型前，我们可以将数据可视化，让数据更加直观地展现在人的眼前，也可以使用样本数据探索，这样对样本的了解更加确切。建模中可以基于目前一些具有可解释性的方法建立模型，这样建立的模型它本身就具有可解释性，但是这样方法局限于它自身的结构特点，无法应用于复杂的深度学习网络模型。在应用中，我们往往会不考虑可解释性来建立模型，这样更加灵活多变。这导致了建立深度学习网络模型成为“黑箱”的可能性增加，以至于大部分都是“黑箱”。建模后的解释方法，是根据已有的模型进行解释，这和数据拟合很相似，我们总是去寻找这样的方法来解释未知的问题。不论是建模前，建模中，还是建模后的方法，它们都会输出结果，这个结果就是我们的评估模型可解释的指标。

二、建模前

建模前通过数据可视化或者样本数据探索，可以直观地了解到数据对描述事实的准确程度，判断数据是否适合建模，数据内部的关联程度和数据样本的特征。通过常用的数据分析方式，比如方差分析，假设检验，相关性分析，回归分析，因子分析等，描述数据样本的趋势，离散程度，为确定建模方法提供依据。
需要将数据可视化，然后初步分析数据的质量，从中筛选或者调整数据以供后续继续进行样本数据探索，找到合适建模的数据。

三、建模中

建模中可以使用一些具有自解释性的方法建立可解释的模型，比如基于规则的方法，基于单个特征，基于单调性等。不管如何，他们都具有复杂度。复杂度是深度学习模型自身固有的特点，它包含时间和空间复杂度，对应于计算量（模型运算次数）和访存量（模型参数数量）。

1.为何已建立的深度学习模型难以解释？

可解释性差是深度学习的最大缺陷之一。对于大部分的深度学习模型，它们在建立的时候，就没考虑模型的可解释性，甚至有的网络的建立仅凭靠建模者的直觉，所以目前还没有出现统一的指标来解释为何如此建立模型，建模依据可能都无法提供。对于神经网络来说，它的结构复杂，参数众多（有的可以多达几十亿参数），我们无法知晓数据在模型中为何会被选择或者如何被改变。比如Inception网络，我们不知道数据适合采用哪一方式来建立神经网络，不知道何时采取池化，何时要卷积，所以在inception网络里，我们把所有的条件都给了，让数据来自己选择是池化还是卷积，我们甚至都不知道为何在某一部分结构中池化起主导作用，而在另一部分卷积起主导作用。神经网络经过训练，为何会选择这些数值作为参数，它们对整个网络的贡献值有多大，我们都不知道。这就是为什么深度学习模型那么难解释，以至于大部分模型都只能看作是黑箱，依靠建模后的方法来对模型进行解释，进行可解释性评估。

我们可能暂时无法对既定模型进行解释，但是在新建立模型的时候，我们可以依据一些方法，建立本身具有可解释性的模型。这类方法大致分为：基于规则的方法（Rule-based），基于单个特征的方法（Per-feature-based），基于实例的方法（Case-based），稀疏性方法（Sparsity），单调性方法（Monotonicity），它们本身拥有很好的解释性。

怎么在模型上运用可解释性

这部分主要是把可解释性运用到已有的模型中，我们在这个阶段研究的不够透彻，目前知道的模型的共同特征是复杂度以及层数，结构等固有特征。不详写。

四、建模后的评估方法优劣及其评价指标

对于所有的监督学习模型，我们有准确率，检错率等等指标来区分模型的优劣，但是它们并不能为模型提供一个好的解释，所以还需要其他解释办法，使得黑盒变得更加透明，目前主要的有PDP，ICE，ALE，FI、PFI等能为模型提供解释，它们不依赖于模型，所以拥有很大的灵活性，但是也导致了解释不够精确。
这些方法只为我们提供了参考，不能依靠其中某一项来评价模型，需要多项参考一起进行。它们都是与模型无关的方法，所以我们可以不考虑原模型的内部结构。

以下主要阐述各个方法实现规则和数学原理

五、解释性评价

这部分主要是客观和主观评价，定性与定量评价。

英文版一级目录包括但不限于：Introduction，Scope，Terms and definitions，Reference architecture，Explanation Assessment
具体还得等到最终确定方案并被采纳才能放出全部内容。相关工作还在进行中。