#Paper Reading# "Why Should I Trust You?" Explaining the Predictions of Any Classifier

论文题目: "Why Should I Trust You?" Explaining the Predictions of Any Classifier
论文地址: https://dl.acm.org/citation.cfm?Id=2939778
论文发表于: KDD 2016（CCF A类会议）

论文大体内容：
本文主要提出了LIME（Local Interpretable Model-agnostic Explanations）方法，来对任意的分类/回归模型的预测结果进行“解释”（特征重要性），是一种模型无关的方法；

Motivation：
现在DNN等深层模型出现后，带来了效果的提升，但同时带来了模型的不可解释性，深度学习训练出来的模型完全就是个“黑盒子”。在很多应用场景中，模型如果不具有解释性，完全无法应用，如医学、律师等领域。所以本文致力于提出一种模型无关的解释模型，用于解释“黑盒子”的输出；

Contribution：
本文主要包括3个贡献点：
①提出LIME算法，可解释任何模型的输出结果；
②提出SP-LIME（Submodular pick-LIME）算法，以尽量少的样本覆盖尽量多的特征，以便人工观察较少的样本，即可大致判断模型是否可信；
③通过实验验证算法的可行性与有效性；

1. 对“黑盒子”的可解释性，其实就是体现在feature importance中，TopN个重要的特征就能很好的对结果进行解释，如本文中对一个人是否有“Flu”的预测：

2. 本文提出的LIME算法，主要原理是这样的：
经过一个复杂的模型，可以划分出红色和蓝色区域两类。当我们要解释加粗的➕时，很难通过解释全局来解释这个点。所以这里LIME使用focus局部的方法，做一个➕附近点的采样，从而学习到一个简单的线性模型（虚线表示），那么这个简单的线性模型就是我们的解释模型。 

3. 本文为了简单，LIME算法都用线性回归算法，对每个sample x，对其它的sample z的特征进行采样（取其中某部分feature），并且以z到x的归一化距离作为sample z的weight，距离（text用cosine值，image用超像素的L2值）越近，weight越大，学习一个线性回归模型；

4. SP-LIME，使用类MMR的方法来挑选尽量少的样本覆盖尽量多的特征，这是NP-Hard问题，所以这里使用贪心思想来获得局部最优解；

实验
5. 这里的实验设计主要为了解决下面6个问题：
①LIME结果是否准确；
②解释能否让人信任；
③解释能否有助于评测整个模型；
④使用LIME后用户是否能选择最好的分类器；
⑤无经验的人类能否根据LIME的结果提升模型效果；
⑥解释能否给出模型判断的关键依据；

6. Dataset
①Books商品评论信息；
②DVDs商品评论信息；

7. Baseline
①LR；
②NN；
③RF；
④SVM；

8. Metric
①Recall；
②F1；

9. 实验结果
①对于问题“LIME结果是否准确”，这里直接用LR和Decision Tree两种模型来实验，限定只选择10个feature，发现LIME选择的feature相比其他方法能取得更好的效果；

②去除掉随机的25%的feature，然后如果预测结果变了，则预测不可信，即原模型不可信。使用模型和解释模型跑2次实验，分别是全部feature，和随机去掉25%作为不可信的feature，这2次模型的结果一样则prediction可信，否则prediction不可信（实验的ground true）；解释模型的linear approximation结果要是改变了，则不可信，否则可信（实验的prediction）；

③用户对于多个模型（自动化精度差别不大），怎么根据解释来评估整个模型的效果。这里作者添加了10个人工的噪声feature，如果重要性TopN的特征中出现了这些噪声feature，则说明这个模型不可信；

④与实验③有点类似，这里用的是文本分类来实验，通过看TopN的重要feature，来协助人工判断哪个模型更好；经过分析svm的重要特征，发现一些并无关的词语出现在Top的位置，说明这样训练出来的模型是不可靠的，这需要重新清洗样本，重新训练；

⑤不断删除不重要的feature，作者发现能提升模型效果；

⑥在图像分类中，作者发现模型把哈士奇predict为狼的依据是雪地，这个是重要的特征点；

参考资料： 
[1] https://blog.csdn.net/evilhunter222/article/details/80043251
[2] https://zhuanlan.zhihu.com/p/58099941
[3] https://github.com/marcotcr/lime

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！