模型解释工具：SHAP --- 论文实战

一、前言

        模型可解释性指对模型内部机制的理解以及对模型结果的理解，即模型中的那些特征最重要；哪个特征造成效果的好与不好。

        在众多模型中，可解释性最强的当然是线性模型；但是由于线性模型在特征提取方面存在天然的弱势，以及过于依赖原始的特征工程，在稍微复杂一些的场景中，基本见不到线性模型的影子。现在效果比较好的几类模型，SVR、 neural network 模型可获得较好的效果，但他们同时也被称为“黑盒”模型，原因是这类模型不能描述特征重要性。所以，打开“黑盒”模型就成了一个值得研究的课题。

       关于模型解释性，除了线性模型和决策树这种天生就有很好解释性的模型以外，sklean中有很多模型都有importance这一接口，可以查看特征的重要性。其实这已经含沙射影地体现了模型解释性的理念。只不过传统的 importance 的计算方法其实有很多争议，且并不总是一致。

二、 模型可解释性工具 SHAP

       Shapley value 最早由加州大学洛杉矶分校（UCLA&