可解释性机器学习——从金融科技视角（2）

可解释性机器学习——从金融科技视角（2）

内容摘要：解释方法的分类

---

---

1、模型内在的解释（I）or 模型训练后的分析（A）

本系列按照这个分类顺序进行介绍
模型内在的解释：通过限制机器学习模型复杂性，分析算法设计。
模型训练后的分析：例如，计算决策树的排列特征重要性。

---

2、根据解释方法的结果划分

• Feature summary statistic（特征汇总统计）

计算特征重要性、特征成对交互强度

• Feature summary visualization（可视化）

绘制曲线发现依赖关系

• Model internals (模型内部结构和参数）

如神经网络习得的权重

• Data point（通过数据视角分析）

其中一种方法称为反事实解释：为了解释对某一数据实例的预测，该方法通过改变一些特征来找到类似的数据点，而预测结果会以相关的方式发生变化（如预测类别变化）。另一个例子是识别预测类别的实质：输出新数据点的可解释模型发挥作用，必须对数据点本身进行解释。这对图像和文本非常有效，但对包含数百个特征的表格数据不那么有用。

• Intrinsically interpretable model（用可解释性模型近似黑盒模型）

解释黑盒模型的一种方法是用可解释模型对其进行近似（全局或局部）。而可解释模型本身是通过查看内部模型结构和参数或特征汇总统计来解释的。

ps：写这段话突然打不出顿号，结果是win11要手动ctrl+句点切换中英文(x_x)

---

3、解释方法适用于所有模型还是特定模型

线性模型中回归权重的解释就是适用于特定模型的解释，本质上可解释模型的解释方法总是只适用于这些模型，而不可迁移。只用于解释神经网络等模型的工具也是针对特定模型的。而解释CNN这种黑盒模型的研究是当前机器学习的难点。并且由于大家对应用层面机器学习展现出来的强大魅力所吸引，更少的人关注模型的可解释性。
与模型无关的工具可用于任何机器学习模型，并在模型训练完成后应用（即1中提到的事后）。这些与模型无关的方法通常通过分析特征输入和输出对来工作，但这些方法无法访问权重或结构等模型内部的信息。

4、局部解释（local）or 全局解释（global）

解释方法是解释单个预测还是解释整个模型行为？或者范围介于两者之间

ps：算法透明度 VS 可解释性

\算法透明度\是关于算法如何从数据中学习模型，以及它可以学习什么样的关系。 如果使用卷积神经网络对图像进行分类，则可以解释该算法在最低层上学习边缘检测器和滤波器, 这是对算法工作原理的理解，但不是对最终习得的特定模型的理解，也不是对如何做出单个预测的理解。 算法透明度只需要了解算法，而不需要了解数据或学习的模型。 线性模型的最小二乘法等算法得到了很好的研究和理解。 它们的特点是透明度高。 深度学习方法（通过具有数百万个权重的网络梯度）其内部工作原理是正在进行的研究的重点，它们不太透明。

• 全局可解释性
• 全局可解释性：moedl层面的
• 局部可解释性：单个预测
• 局部可解释性：一组预测

---

待更

---

文章组织结构

• 首先，介绍可解释性，包括理解可解释性的重要性，解释方法的分类，解释的评估，解释方法的性质。
• 其次，了解目前经典的可解释的模型，包括线性回归，逻辑回归，GLM、GAM等、决策树、决策规则、规则拟合Rulefit等。
• 然后，分析与模型无关的全局方法（部份依赖图PDP、局部积累效应ALE图、功能交互、功能分解、排列特征重要性等）和与模型无关的局部方法（ICE、LIME、反事实解释，作用域规则、Shaley、SHAP等）
• 最后，着重讨论神经网络的解释，并聊聊现目前的最新进展。