机器学习可解释性方法的分类

解释方法的输出

• 特征概要统计量。例如为每个特征返回一个数字，代表其特征重要性；对于更复杂的输出，返回成对特征交互强度，每个特征对表示一个数字。
• 特征概要可视化。特征概要可视化以表格形式呈现数据的方式已不能满足可视化的要求，比如特征的部分依赖性无法通过表格呈现，而呈现部分依赖关系的最佳方法是绘制曲线。
• 模型内部（例如学习的权重）。对于内部可解释性模型来说，可以满足这一类分类方法。并且输出模型内部的可解释性方法是特定于模型的。
• 数据点。这个类别的方法是返回数据点以使模型可解释。⼀种⽅法叫做反事实解释(Counterfactual Explanations)，为了解释对数据实例的预测，该⽅法通过⽤⼀些⽅式改变某些特征以改变预测结果(例如预测类别的翻转)，找到相
  似的数据点。另⼀个⽅法是识别预测类的原型，这⾥输出新数据点的解释⽅法要求可以解释数据点本⾝。