文献阅读04期：神经网络解释 - GRACE

[ 文献阅读·DL ] Outline：GRACE: Generating Concise and Informative Contrastive Sample to Explain Neural Network Model’s Prediction

推荐理由：虽然神经网络近年来越来越为人所熟知，但是网络的可解释性一直是一个值得关注的话题，而且想要这个领域作出一定成果，属实一项挑战。该论文借鉴了因果关系中的“干预解释”和哲学中的“解释性是对比性”，从而提出了一种名为GRACE的新颖解决方案，该解决方案可以更好地解释神经网络模型对表格数据集

文献全名：GRACE: Generating Concise and Informative Contrastive Sample to Explain Neural Network Model’s Prediction

1.摘要&简介

• 本文针对“表格型”数据的训练展开可解释性研究。
• 本文方法在预解释决策上，比Lime有高出60%的精度。
• 具体实施方法为：假定有两个分类标签X和Y，在一个样本给定标签为X的情况下，GRACE会产生一个被标记为Y的“负面教材”，并以此来解释原来的样本为什么会被标记为X。
• 实验涉及其他评价指标：fidelity, conciseness, info-gain, influence。
• 本文所建立的表格数据网络训练解释方法，基本面向机器学习的商业用户，也就是普通用户，不像是先前的解释算法，大多面向研究学者。
• 本文面临挑战1：表格数据经常有较高维度且相互关联的属性。因此选取top-k个特性可以减少信息冗余，让客户在看解释的时候不会太过困惑。
• 本文面临挑战2：如果是仅仅提供挑战1中所选取的几个特征，普通用户还是会被这些特征困惑到，所以本文决定将这些特征写成一些更容易理解的文本，这样客户在预测的时候能够更加准确。
• 本文面临挑战3：一般没有机器学习背景的用户对于所谓“近似决策边缘”提供的这些解释不是能够很好地理解。为此，本文加入一些对比解释，例如：“被分类为正常邮件”，会被修改为“这更像是一封正常邮件，而不是垃圾邮件。”
• 总的来说，这些挑战基本来自于普通用户对一些专业术语的不解，最终导致的错误选择。（博文笔者也认为，这种后期加工导致的精准度下降，确实十分可惜。）
• 原文所述作出的贡献为以下三点：
  

2.解释模型（THE EXPLANATION MODEL）

2.1.对比解释

• 让计算机学会去回答“为什么？”是一个非常关键的问题。比如：为什么这个病人会被诊断为这个病症，为什么这家公司会面临破产，为什么这个样本是这个物种……（“是什么”很好回答，但“为什么是这样的？”你直接这么问电脑，估计电脑会戴上痛苦面具，啊不，是你会戴上。）
• 这时候，因果关系就非常重要，用作者的话来说，这个因果概念应该是取自于哲学的因果律。
• 针对因果，论文中有这样两条描述：
  1. 如果一个结果是某个事件所导致的，那这个事件是就是起因。
  2. 然而，因果关系只能在受控制的环境下建立：在此环境中，当你改变一个输入，其他输入不变，观察输出的变化。
• 将数据科学或是机器学习代入因果律是一件不小的挑战，毕竟如果只有数据，那便很难获知因果关系。

2.2.干预解释

• 定义1：如果特征子集里的$\mathcal{P}$是预测输出$X$的解释条件，那在改变$\mathcal{P}$的时候，输出结果也将改为不同于$X$的其他分类，并且是在其他特征没有发生改变的情况下。
• 定义2：影响程度评分：
  $${\mathrm{infl}}_{\lambda }(\mathcal{P})=\frac{1(\mathrm{Y}\ne \mathrm{X})}{(\text{ Number of features in }\mathcal{P}{)}^{\lambda }}\text{\hspace{1em}(1)}$$
  其中，$1(\cdot )$是一个指示器，$X$和$Y$是干预前后的预测结果。另外，$\lambda >0$较为合理，因为这样可以让特征维持在一个比较小的数量级（特征一多，影响程度评分为1.0，这一箩筐肯定都有效，天知道哪个因子有用，对不对？）

2.3.从干预到生成

• 简单来说，就是用户很疑惑，你给我测了血压，我现在血压这个数值，究竟好还是不好？医生拿出一个健康人的血压数值告诉你，你这不好。（具体请看原文，这里太懒，就放一段自己的理解好了。）

3.目标函数

• 令 f ( ⋅ ) f(\cdot)