机器学习可解释性（三）——影响函数（Influence function）推导

影响函数（Influence function）推导

参考 Understanding Black-box Predictions via Influence Functions论文附录。

一、概述

影响函数是一个应用广泛的统计学习概念，在 Residuals and influence in regression 书中也有提及。可以用来衡量样本对模型参数的影响程度，也就是样本的重要性。在参考的论文中被用于提供模型的解释，实现机器学习算法的可解释性。

常规想法中，改变一个样本的的权重往往需要重新定义数据集或损失函数，重新训练模型，需要耗费很长的时间和大量的计算资源。影响函数的提出就是为了解决这个问题，在不改变模型的情况下获得相近的重要性度量结果。

如果不关心推导的同学可以直接看结论。

二、结论

假设有$n$个训练样本$z_1,...,z_n$，其中$z_i=(x_i,y_i)$，令$L(z,\theta )$表示样本$z$在模型参数为$\theta$下的损失函数，则经验风险为

$$R(\theta )=\frac{1}{n}\sum _{i=1}^{n}L(z_i,\theta )\text{\hspace{1em}(1)}$$

根据经验风险最小化（ERM），得到的模型参数为：

$$\hat{\theta }=arg{\min }_{\theta }\frac{1}{n}\sum _{i=1}^{n}L(z_i,\theta )\text{\hspace{1em}(2)}$$

研究改变某个训练样本$z$的权重对$\theta$的影响。将该样本$z$在训练集中的权重增加$ϵ$，这时根据ERM得到的模型参数变为

$$\begin{gathered} {\hat{\theta }}_{ϵ,z}=arg{\min }_{\theta }(\frac{1}{n}\sum _{i=1}^{n}L(z_i,\theta )+ϵL(z,\theta )) \\ =arg{\min }_{\theta }[R(\theta )+ϵL(z,\theta )]\text{\hspace{1em}(3)} \end{gathered}$$

那么，模型参数的变化与训练样本权重变化的关系，被称作影响函数（influence function）。

$${\mathcal{I}}_{up,params}(z)=\frac{d{\hat{\theta }}_{ϵ,z}}{dϵ}{|}_{ϵ=0}=-H_{\hat{\theta }}^{-1}\nabla L(z,\hat{\theta })\text{\hspace{1em}(4)}$$

其中，海森矩阵（Hession Matrix）表达式为：

$$H_{\hat{\theta }}={\nabla }^{2}R(\hat{\theta })=\frac{1}{n}\sum _{i=1}^n{\nabla }_{\theta }^{2}L(z_i,\hat{\theta })\text{\hspace{1em}(5)}$$

公式（4）可以理解为，为一个样本改变权重，用模型参数对这种改变的敏感程度来衡量该样本对整个模型的重要性。

三、推导

接下来介绍推导过程。公式（1-3）的叙述过程在这里不再赘述，主要介绍如何由公式（3）导出公式（4）的结论。

首先，定义变量${\Delta }_{ϵ}={\hat{\theta }}_{ϵ,z}-\hat{\theta }$来衡量参数$\theta$的变化量，这里需要注意$\hat{\theta }$也就是给样本增加权重之前的经验风险最小化得到的参数结果，因此它和$ϵ$无关。于是我们有：

$$\frac{d{\hat{\theta }}_{ϵ,z}}{dϵ}=\frac{d{\Delta }_{ϵ}}{dϵ}\text{\hspace{1em}(6)}$$

因为${\hat{\theta }}_{ϵ,z}$是公式（3）中的最小化结果，因此满足一阶导条件，也就是对$\theta$的一阶导数为零。

$$0=\nabla R({\hat{\theta }}_{ϵ,z})+ϵ\nabla L(z,{\hat{\theta }}_{ϵ,z})\text{\hspace{1em}(7)}$$

接下来，以为当$ϵ$趋于0时，${\hat{\theta }}_{ϵ,z}$趋于$\hat{\theta }$，我们将公式（7）的右侧做一阶泰勒展开，也就是将${\hat{\theta }}_{ϵ,z}$在$\hat{\theta }$附近展开，得到：

$$0\approx [\nabla R(\hat{\theta })+ϵ\nabla L(z,\hat{\theta })]+[{\nabla }^{2}R(\hat{\theta })+ϵ{\nabla }^{2}L(z,\hat{\theta })]{\Delta }_{ϵ}\text{\hspace{1em}(8)}$$

这里，我们去掉了$o(||{\Delta }_{ϵ}||)$项，从公式（8）中求解出${\Delta }_{ϵ}$，得到：

$${\Delta }_{ϵ}\approx -[{\nabla }^{2}R(\hat{\theta })+ϵ{\nabla }^{2}L(z,\hat{\theta }){]}^{-1}[\nabla R(\hat{\theta })+ϵ\nabla L(z,\hat{\theta })]\text{\hspace{1em}(9)}$$

由于$\hat{\theta }$最小化$R$，因此有$\nabla R(\hat{\theta })=0$，将其代入公式（9），并仅保留$O(ϵ)$项，也就是去掉高阶无穷小项。得到公式：

$${\Delta }_{ϵ}\approx -{\nabla }^{2}R(\hat{\theta }{)}^{-1}\nabla L(z,\hat{\theta })ϵ\text{\hspace{1em}(10)}$$

结合公式（6），最终得到影响函数（Influence function）：

$${\mathcal{I}}_{up,params}(z)=\frac{d{\hat{\theta }}_{ϵ,z}}{dϵ}{|}_{ϵ=0}=-H_{\hat{\theta }}^{-1}\nabla L(z,\hat{\theta })\text{\hspace{1em}(11)}$$

可以看到这里的影响函数的计算并不需要重新训练模型。至此，影响函数的推导介绍完毕。