10模型可解释和LIME

模型可解释和LIME

学习目标

1. 知道LIME的原理
2. 知道LIME API的使用方法

1 模型可解释性介绍

近年来深度学习模型、集成学习模型（比如XGBoost、LightGBM等）在很多领域都取得了很好的成果，但是这类模型有共同的特点：

• 内部结构非常复杂，其运作机制就像一个黑盒子一样，难以用人类可以理解的语言去描述
• 模型输出结果也难以被解释，使得其在一些有关生命安全或重要决策领域的应用受到巨大挑战

黑盒模型存在的问题举例：

• 某银行希望通过XGBoost模型，判断客户名单中哪些人更有可能会购买基金产品。经过训练之后，模型的AUC达到了0.85，结果非常理想，营销人员拿着模型预测的名单逐个进行电话营销。结果在几百通电话之后，最终只有一两个客户购买了基金产品，原因是什么？
• 某银行的风控专员，最近银行新开通的信用卡遇到了严重的逾期还款问题，银行决定对旧的评分模型进行调整优化，以防止发生更多的违约情况。于是他用新的训练数据对模型进行了更新，并对一些特征重新进行了分箱处理，最终将新模型部署上线。然而没过多久，银行便开始接到不同的投诉电话：“为什么我已经提供了齐全的资料，征信也没问题，但是我的信用卡审批就是通不过呢？”“我提交的资料信息与我同事的资料信息是相近的，为什么他的额度比我的高那么多？”……面对申请人接二连三的质疑，运营人员一时半会儿也没法回答，面对这个黑盒模型运行所得的评分模型，建模人员也很难给出一个清晰的解释

可解释性大致可以为模型带来如下好处

• 挖掘因果关系，启发特征工程思路（尤其是在医学、金融、自动驾驶等高风险领域）
• 可靠性强，易于产生信任

模型可解释性分类

内在可解释 和 事后可解释

• 内在可解释（Intrinsic Interpretability）指的是模型自身结构比较简单，使用者可以清晰地看到模型的内部结构，模型的结果带有解释的效果，如逻辑回归，线性回归，决策树
• 事后可解释（Post-hoc Interpretability）指的是模型训练完之后，使用一定的方法增强模型的可解释