LIME技术个人总结和理解

方法：

干涉输入，然后观察预测结果会怎样变化。

实验表明这种做法在可解释性上是有用的。

因为我们可以通过改变人类可以理解的组件（比如单词或图像的一部分）来改变输入，即使模型使用的是更加复杂的组件（比如词向量）作为输入的特征。

LIME 背后的关键直觉就是，通过一个简单的模型来局部地（在我们想要解释的预测的附近）逼近一个黑箱模型会比全局性地去逼近这个模型要容易得多。

怎么实现？(通过给改变后的输入图像设定权重的方式来实现, 权重的值是改变后的图形和我们想要解释的实例的相似度的值。)

图 3 所示的例子说明了LIME在图像分类上是如何工作的。假设我们想解释一个可以预测图片中是否包含树蛙的分类器，我们可以借助右边被分解成可解读的组件（连续超像素）的图像。

 

超像素---番外篇解释：

超像素:有一系列 位置相邻的 比如颜色， 纹理，亮度等特征相近的 连续小区域。

如图 4 所示，我们通过“隐藏”一些可解读组件生成一个修改过的实例的数据集（在这个例子中是将隐藏的组件都设置成灰色）。对于每一个被修改过的实例，模型都会以一定概率判断图像实例是否包含树蛙。然后我们就在这个局部加权的数据集上得到了一个简单的（线性）回归模型，而我们更关心在更接近原始图像的修改过的实例上出现的错误。最后，我们给出带有最高正权重的超像素作为解释，将其它部分都改成灰色。
 

图4：用LIME解释一个预测。图片来源：Marco Tulio Ribeiro和Pixabay

第二个例子是解释谷歌的Inception神经网络模型对图像做的分类。如图 6所示，分类器预测这个图像是“树蛙”类的概率最高，而“台球”和“气球”的概率低一些。我们的解释揭示该分类器主要专注于蛙的面部作为此预测分类的依据。它也说明了为什么“台球桌”有非零概率，因为青蛙的爪子和眼与台球非常地相似，特别是在绿色背景下。同样，红色的心脏也和红气球类似。 
 
图6：解释Inception神经网络模型生成的预测。头三名预测结果是“树蛙”、“台球桌”和“气球”。图片来源：Marco Tulio Ribeiro和Pixabay提供的树蛙、台球和热气球图片。 
我们论文所述的实验表明机器学习专家和普通人都能从类似于图5和图6 这样的解释中获益。能够选择哪个模型泛化的更好，能够通过改变模型对模型进行改进，以及获得模型行为的关键洞察。

 

原作者论文：https://arxiv.org/pdf/1602.04938.pdf