经典回顾：Probabilities Difference方法

简介

PD方法是一种对于分类任务解释性的方法，给定一个需要解释的分类模型f，和一个对应的示例x，该方法可以计算x中的每一个维度对于将x分类为y的影响（影响分为正影响和负影响）。

介绍

变量介绍

$x$：一个实例
$y$：类别
$f$：需要解释的模型
$x_i$：x第i维
$a_s$：xi第s种可能的取值
$p(y|x)$：f将x分类为y的概率
$p(y|x/s_i)$：去掉Ai这个维度，f将x分类为y的概率

$p(y|x/x_i)$计算公式：

$$p(y|x/x_i)={\Sigma }_{s=1}^{m}p(x_i=a_s|x/x_i)p(y|x\leftarrow x_i=a_s)$$
这里假设x各个维度都是独立的，计算公式可以进一步简化：
$$p(y|x/x_i)={\Sigma }_{s=1}^{m}p(x_i=a_s)p(y|x\leftarrow x_i=a_s)$$
从这个公式计算可出看出，很多模型是无法真正去掉xi来计算实例分类概率，因此通过遍历所有的取值来等价实现去掉xi，那么这个等价真正的合理吗？为了证明这个等价的正确性，我们需要找到一个能够去掉xi来计算实例分类的模型，如果两者的计算公式p(y|x/xi)可以互相推导则证明等价是合理的。

等价证明：

朴素贝叶斯模型恰好是满足能够去掉xi来计算实例分类结果的模型：
贝叶斯定理：
$$p(y|x_1,x_2,...,x_n)=\frac{p(x_1,x_2,...,x_n,y)}{p(x_1,x_2,...,x_n)}=\frac{p(x_1,x_2,...,x_n|y)p(y)}{p(x_1,x_2,...,x_n)}$$
当各个维度条件独立时，即为朴素贝叶斯模型：
$$p(y|x)=p(y)\prod _i^n\frac{p(x_i|y)}{p(x_i)}$$
去掉xi朴素贝叶斯模型对于实例x分类结果为：
$$p(y|x/x_i)=p(y)\prod _{j\ne i}^n\frac{p(x_j|y)}{p(x_j)}$$
将xi赋值为$a_s$朴素贝叶斯模型对于x分类结果为：
$$p(y|x\leftarrow x_i=a_s)=p(y)\frac{p(x_i=a_s|y)}{p(x_i=a_s)}\prod _{j\ne i}^n\frac{p(x_j|y)}{p(x_j)}$$
等价变换为：
$$p(y|x\leftarrow x_i=a_s)p(x_i=a_s)=p(x_i=a_s|y)p(y|x/x_i)$$
最终得到：
$${\Sigma }_{s=1}^{m}p(y|x\leftarrow x_i=a_s)p(x_i=a_s)=p(y|x/x_i){\Sigma }_{s=1}^{m}p(x_i=a_s|y)$$
化简得：
$${\Sigma }_{s=1}^{m}p(y|x\leftarrow x_i=a_s)p(x_i=a_s)=p(y|x/x_i)$$
等价证明成立

$proDif{f}_i(y|x)$计算公式：

计算x中的xi维度对于将x分类为y的影响：
$$proDif{f}_i(y|x)=p(y|x)-p(y|x/x_i)$$

参考文献

M. Robnik-Šikonja and I. Kononenko, “Explaining Classifications For Individual Instances,” in IEEE Transactions on Knowledge and Data Engineering, vol. 20, no. 5, pp. 589-600, May 2008, doi: 10.1109/TKDE.2007.190734.