使用LIME解释黑盒ML模型

作者|Travis Tang (Voon Hao) 编译|VK 来源|Towards Data Science

在这一点上，任何人都认为机器学习在医学领域的潜力是老生常谈的。有太多的例子支持这一说法-其中之一就是微软利用医学影像数据帮助临床医生和放射科医生做出准确的癌症诊断。同时，先进的人工智能算法的发展大大提高了此类诊断的准确性。毫无疑问，医疗数据如此惊人的应用，人们有充分的理由对其益处感到兴奋。

然而，这种尖端算法是黑匣子，可能很难解释。黑匣子模型的一个例子是深度神经网络，输入数据通过网络中的数百万个神经元后，作出一个单一的决定。这种黑盒模型不允许临床医生用他们的先验知识和经验来验证模型的诊断，使得基于模型的诊断不那么可信。

事实上，最近对欧洲放射科医生的一项调查描绘了一幅在放射学中使用黑匣子模型的现实图景。调查显示，只有55.4%的临床医生认为没有医生的监督，患者不会接受纯人工智能的应用。[1]

在接受调查的635名医生中，超过一半的人认为患者还没有准备好接受仅仅由人工智能生成的报告。

下一个问题是：如果人工智能不能完全取代医生的角色，那么人工智能如何帮助医生提供准确的诊断？

这促使我探索有助于解释机器学习模型的现有解决方案。一般来说，机器学习模型可以分为可解释模型和不可解释模型。简而言之，可解释的模型提供的输出与每个输入特征的重要性相关。这些模型的例子包括线性回归、logistic回归、决策树和决策规则等。另一方面，神经网络形成了大量无法解释的模型。

有许多解决方案可以帮助解释黑匣子模型。这些解决方案包括Shapley值、部分依赖图和Local Interpretable Model Agnostic Explanations（LIME），这些方法在机器学习实践者中很流行。今天，我将关注LIME。

根据Ribeiro等人[2]的LIME论文，LIME的目标是“在可解释表示上识别一个局部忠实于分类器的可解释模型”。换句话说，LIME能够解释某一特定点的分类结果。LIME也适用于所有类型的模型，使其不受模型影响。

直观解释LIME

听起来很难理解。让我们一步一步地把它分解。假设我们有以下具有两个特征的玩具数据集。每个数据点都与一个基本真相标签（正或负）相关联。

从数据点可以看出，线性分类器将无法识别区分正负标签的边界。因此，我们可以训练一个非线性模型，例如神经网络，来对这些点进行分类。如果模型经过良好训练，它能够预测落在深灰色区域的新数据点为正，而落在浅灰色区域的另一个新数据点为负。

现在，我们很好奇模型对特定数据点（紫色）所做的决定。我们扪心自问，为什么这个特定的点被神经网络预测为负？