机器模型的可解释分析-测算feature importance

首先推荐一本经典好书《可解释的机器学习》，Christoph Molnar著，朱明超翻译，公司的大佬也是通过学习这本书有了很多很有价值的见解~以下是我的读书笔记以及思考。

宏观来说，构建机器学习模型的商业应用场景有两种：

• 预测问题:给定x, 预测y.
  • 典型应用场景，如满房率预测，外卖配送时间预测，google流感趋势预测，沃尔玛啤酒与尿布等等。
  • 这类问题一般可容忍一个‘black box model’， 因此降低了对于Y理论框架的要求和特征工程的难度，一个高精度的模型， f(x1, x2,…xp)和f*(x1, x2,…xp)可以相差很远，符号都可以相反；
  • 缺点：极差的业务可解释性和因果推断的能力，如上面的例子，换系数依然成立。。怎么和业务解释？
• 优化问题： 给定x的范围，寻找最优y下对应的x*.
  • x可以理解成业务中可落地的抓手、策略，y是我们的kpi/okr。
  • 典型场景：定价（GMV=f(price) s.t.price >=cost);
  • 我们更关心的是 Y| do X 而不是Y|X, 也就是关注因果而非相关性，最明显的特点是我们会更关心模型特征X 对Y 的影响方式和水平，同时希望模型是稳健且可解释的。

在机器学习insight这个话题下，一般有几个特别值得解释的课题（可参考 yong总结 )：
- 哪些特征在模型中是最重要的（feature importance);
- 关于某一条记录的预测，每一个特征是如何影响到最终的预测结果的？ （部分依赖图）；
- 从大量的记录整体来看，每一个特征是如何影响模型的预测的？（SHAP values)

（有点懵，是不是，不要慌）首先我们来各个击破~

第一步，如何获得稳健可靠的特征重要性（feature importance)?

特征重要性的作用 -> 快速的让你知道哪些因素是比较重要的，但是不能得到这个因素对模型结果的正负向影响，同时传统方法对交互效应的考量会有些欠缺。

计算feature importance一般有三种方法࿰