可解释性人工智能（eXplainable Artificial Intelligence，XAI）

        虽然我们已经训练了很多的模型。比如图像识 别模型，给它一张图片，模型会给你图像的类别。但我们并不满足于此，接下来我们要机器 给我们它得到答案的理由，这就是可解释性人工智能，学者们普遍将可解释性人工智能称为 XAI。首先开始介绍技术之前，我们需要讲一下为什么可解释性人工智能是一个重要的研究领 域。其实本质上的原因是就算机器可以得到正确的答案，也不代表它一定非常“聪明”。举一个 例子，过去有一匹神马它很聪明，它可以做数学问题。比如问它√9是多少，它就开始计算得 到答案，并且用它的马蹄去跺地板来告知答案。如果答案是3，它就敲三下，停下来代表它得 到正确的答案。旁边的人就会欢呼，给它胡萝卜吃。后来有人就很怀疑为什么神马可以解数学 问题，它只是一匹马，它为什么能够理解数学问题呢。慢慢地有人发现，只要没有人围观的时 候，神马就会答不出数学问题，没有人看它的时候，它就不会解数学问题。所以它其实只是侦 测到旁边人类微妙的情感变化，知道它什么时候要停下跺马蹄，它就可以有胡萝卜吃。它并不 是真的学会解数学的问题，而我们看到种种人工智能的应用，有没有可能跟神马是一样的状 况呢？

        以上是一个故事，当然在很多的真实应用中，可解释性的机器学习，或者说可解释性的 模型往往是必须的。举例来说，银行可能会用机器学习的模型来判断要不要贷款给某一个客 户，但是根据法律的规定银行作用机器学习模型来做自动的判断它必须要给出一个理由。所 以这个时候，我们不是只训练机器学习模型就好，我们还需要机器学习的模型是具有解释力 的。机器学习未来也会被用在医疗诊断上，但医疗诊断是人命关天的事情，如果机器学习的 模型只是一个黑箱，不会给出诊断的理由的话，那我们又要怎么相信它做出的是正确的判断 呢。现在也有人想把机器学习的模型用在法律上，比如说帮助法官判案，比如一个犯人能不 能够被假释，但是我们怎么知道机器学习的模型它是公正的呢，它是不是有种族歧视的问题 呢。所以我们希望机器学习的模型不只得到答案它还要给我们得到答案的理由。再更进一步， 自动驾驶汽车未来可能会满街跑，但是当自动驾驶汽车突然急刹的时候导致车上的乘客受伤， 这个自动驾驶系统有没有问题呢？这也许取决于它急刹的理由，如果它是看到有一个老人在 过马路所以急刹，那也许它是对的，但是假设它只是无缘无故就突然发狂要急刹，那这个模 型就有问题了。所以对它的种种行为、种种决策，我们希望知道决策背后的理由。更进一步， 也许机器学习的模型如果具有解释力，未来我们可以凭借着解释的结果再去修正模型。

        我们期待也许未来当我们知道深度学习模型犯错的时候，它是错在什么样的地方，它为 什么犯错，也许我们可以有更好的、更有效率的方法来提升模型。当然这个是未来的目标，离 用可解释性的机器学习做到上述模型的想法还有很长的一段距离。但是已经有一些方法可以 让模型变得比较容易解释，也许未来我们可以把这些方法应用在深度学习的模型上，让深度 学习的模型也变得比较容易解释。

        有人可能会想说我们之所以这么关注可解释性的机器学习的议题，也许是因为深度的网 络本身就是一个黑箱。我们能不能够用其它的机器学习的模型呢？如果不要用深度学习的模 型，而改采用其他比较容易解释的模型会不会就不需要研究可解释性机器学习了呢。举例来 说，假设我们都采用线性模型，它的解释的能力是比较强的，我们可以轻易地知道根据一个 线性模型里面的每一个特征的权重，知道线性的模型在做什么事。所以训练完一个线性模型 后，我们可以轻易地知道它是怎么得到它的结果的。但是线性模型的问题是它没有非常地强 大，它的表达能力是比较弱的。线性模型有很巨大地限制，所以我们才很快地进入了深度的 模型。深度模型它的坏处就是它不容易被解释，深度网络它就是一个黑盒子，黑盒子里面发 生了什么事情，我们很难知道。虽然它比线性的模型更好，但是它的解释的能力是远比线性 的模型要差的。所以讲到这里，很多人就会得到一个结论，我们就不应该用这种深度的模型， 我们不该用这些比较强大的模型，因为它们是黑盒子。但是这样的想法其实就是削足适履，我 们因为一个模型它非常地强大，但是不容易被解释就扬弃它吗？我们不是应该是想办法让它 具有可以解释的能力吗？所以我们的目标就是要让深度的模型也具有解释的能力，而不是说 我们就不要用深度的模型了。当然对于机器学习的可解释性还有很多的讨论，但是其重要性 是不言而喻的