Understanding Black-box Predictions via Influence Functions

Koh P W, Liang P. Understanding black-box predictions via influence functions[C]. international conference on machine learning, 2017: 1885-1894.

@article{koh2017understanding,
title={Understanding black-box predictions via influence functions},
author={Koh, Pang Wei and Liang, Percy},
pages={1885–1894},
year={2017}}

概

本文介绍了如果计算(估计)损失关于样本的一些影响因子, 并介绍了一些应用范围.

主要内容

假设样本$z_1,\dots ,z_n$, $z_i=(x_i,y_i)\in \mathcal{X}\times \mathcal{Y}$, 通过最小化经验损失
$$\hat{\theta }:=\arg \underset{\theta \in \Theta }{\min }\frac{1}{n}\sum _{i=1}^{n}L(z_i,\theta ),$$
找到最优解.

且假设$L$关于样本和参数都是二阶可导且强凸的.

样本重要性分析

显然, 此时给定一个测试样本$z_{test}$, 其对应的损失为$L(z_{test},\hat{\theta })$, 那么衡量一个样本重要性的一个重要指标便是, 倘若在移除样本$z$的情况下重新训练模型, 对应的参数和损失的变化.

假设在移除样本$z$的情况下训练得到的最优参数为${\hat{\theta }}_{-z}$, 并引入
$${\hat{\theta }}_{ϵ,z}:=\arg \underset{\theta \in \Theta }{\min }\frac{1}{n}\sum _{i=1}^{n}L(z_i,\theta )+ϵL(z,\theta ),$$
易得${\hat{\theta }}_{-z}={\hat{\theta }}_{-\frac{1}{n},z}$.

则
$${\mathcal{I}}_{up,params}(z):=\frac{d{\hat{\theta }}_{ϵ,z}}{dϵ}{|}_{ϵ=0}=-H_{\hat{\theta }}^{-1}{\nabla }_{\theta }L(z,\hat{\theta }),\text{\hspace{1em}(1)}$$
其中$H_{\theta }:=\frac{1}{n}{\sum }_{i=1}^n{\nabla }_{\theta }^{2}L(z_i,\hat{\theta })$.

我们可以得到, 参数的变化量的一阶近似
$${\hat{\theta }}_{-z}-\hat{\theta }\approx -\frac{1}{n}{\mathcal{I}}_{up,params}(z).$$
进一步, 我们定义损失的变化量
$$\begin{array}{ll}{\mathcal{I}}_{up,loss}(z,z_{test})& :=\frac{dL(z_{test},{\hat{\theta }}_{ϵ,z})}{dϵ}{|}_{ϵ=0}\\ & ={\nabla }_{\theta }L(z_{test},\hat{\theta }{)}^T\frac{d{\hat{\theta }}_{ϵ,z}}{dϵ}{|}_{ϵ=0}\\ & =-{\nabla }_{\theta }L(z_{test},\hat{\theta }{)}^T{H}_{\hat{\theta }}^{-1}{\nabla }_{\theta }L(z,\hat{\theta }).\end{array}\text{\hspace{1em}(2)}$$

样本摄动对损失的影响

倘若我们对其中一个样本$z$添加一个扰动$\delta$, 并在新的数据$z_{\delta }:=(x+\delta ,y)$上训练, 得到模型, 其参数和损失会如何变化?

我们定义
$${\hat{\theta }}_{ϵ,z_{\delta },-z}:=\arg \underset{\theta \in \Theta }{\min }\frac{1}{n}\sum _{i=1}^{n}L(z_i,\theta )+ϵL(z_{\delta },\theta )-ϵL(z,\theta ),$$
并令${\hat{\theta }}_{z_{\delta },-z}:={\hat{\theta }}_{\frac{1}{n},z_{\delta },-z}$

同样可以证明
$$\frac{d{\hat{\theta }}_{ϵ,z_{\delta },-z}}{dϵ}{|}_{ϵ=0}=-H_{\hat{\theta }}^{-1}({\nabla }_{\theta }L(z_{\delta },\hat{\theta })-{\nabla }_{\theta }L(z,\hat{\theta })).\text{\hspace{1em}(3)}$$

则
$${\hat{\theta }}_{z_{\delta },-z}-\hat{\theta }\approx -\frac{1}{n}{H}_{\hat{\theta }}^{-1}({\nabla }_{\theta }L(z_{\delta },\hat{\theta })-{\nabla }_{\theta }L(z,\hat{\theta }))\approx -\frac{1}{n}{H}_{\hat{\theta }}^{-1}{\nabla }_x{\nabla }_{\theta }L(z_{\delta },\hat{\theta })\delta .$$
故
$${\mathcal{I}}_{pert,loss}(z,z_{test}{)}^T:={\nabla }_{\delta }L(z_{test},{\hat{\theta }}_{z_{\delta },-z}{)}^T\approx -\frac{1}{n}{\nabla }_{\theta }L(z_{test},\hat{\theta }{)}^T{H}_{\hat{\theta }}^{-1}{\nabla }_x{\nabla }_{\theta }L(z,\hat{\theta }).\text{\hspace{1em}(5)}$$

注:文章这里没有$\frac{1}{n}$且是等号(我卡在这个地方了, 推不出来).

高效计算$H^{-1}$

共轭梯度

此时我们不是计算$H_{\hat{\theta }}^{-1}$, 而是计算$s:=H_{\hat{\theta }}^{-1}v$, 比如在计算${\mathcal{I}}_{up,loss}$的时候, $v={\nabla }_{\theta }L(z_{test},\hat{\theta })$, 则对于固定的$z_{test}$想要知道不同的$z_i$的影响可以直接用$s^T{\nabla }_{\theta }L(z_i,\hat{\theta })$, 避免了重复运算.

即求解
$$\arg \underset{t}{\min }\frac{1}{2}{t}^T{H}_{\hat{\theta }}t-v^{T}t,$$

假设第$k$步为
$$t=t_k,$$
则利用精确直线搜索
$$\arg \underset{p}{\min }\frac{1}{2}{t}_{k+1}^T{H}_{\hat{\theta }}{t}_{k+1}-v^T{t}_{k+1},\mathrm{s}.\mathrm{t}.t_{k+1}=t_k+p(H_{\theta }{t}_k-v),$$
得
$$p=-\frac{{\Delta }^T{H}_{\hat{\theta }}{t}_k-v^T\Delta }{{\Delta }^T{H}_{\hat{\theta }}\Delta },\Delta =H_{\hat{\theta }}{t}_k-v.$$

随机估计

这里是估计$H_{\hat{\theta }}^{-1}$, 为了符号简便省略下表, 因为$H^{-1}={\sum }_{i=0}^{+\infty }(I-H{)}^i$, 用$H_j^{-1}={\sum }_{i=0}^j(I-H{)}^i$表示前$j+1$项的和, 易知
$$H_j^{-1}=I+（I-H)H_{j-1}^{-1},H_j^{-1}\to H^{-1}.$$

我们从样本中均匀挑选, 计算${\nabla }_{\theta }^{2}L(z_i,\hat{\theta })$ 作为$H$的替代, 则
$${\tilde{H}}_j^{-1}=I+(I-{\nabla }_{\theta }^{2}L(z_{s_j},\hat{\theta })){\tilde{H}}_{j-1}^{-1}.$$

当然, 处于稳定性的考虑, 我们可以一次性采样多个来作为$H$的替代.

一些应用

1. 探索模型关于样本的内在解释, 即什么样的样本模型会更加偏好之类的;
2. 生成对抗样本;
3. 检测目标数据分布和训练分布是否一致;
4. 检测训练数据的标签是否正确.

附录

(1)的证明

定义${\Delta }_{ϵ}:={\hat{\theta }}_{ϵ,z}-\hat{\theta }$, 则
$${\mathcal{I}}_{up,params}(z)=\frac{d{\Delta }_{ϵ}}{dϵ}{|}_{ϵ=0}.$$

由一阶最优条件可知
$$\begin{gathered} 0=\frac{1}{n}\sum _{i=1}^n{\nabla }_{\theta }L(z_i,\hat{\theta }):=R(\hat{\theta }), \\ 0=R({\hat{\theta }}_{ϵ,z})+ϵ{\nabla }_{\theta }L(z,{\hat{\theta }}_{ϵ,z}), \end{gathered}$$

把${\hat{\theta }}_{ϵ,\theta }$看成自变量(固定$ϵ$), 第二个等式右边是关于这个变量的一个函数, 则其在${\hat{\theta }}_{ϵ,\theta }=\hat{\theta }$处的泰勒展式为
$$R(\hat{\theta })+ϵ{\nabla }_{\theta }L(z,\hat{\theta })+[{\nabla }_{\theta }R(\hat{\theta })+ϵ{\nabla }_{\theta }^{2}L(z,\hat{\theta })]{\Delta }_{ϵ}+o({\Delta }_{ϵ})=0$$
故
$${\Delta }_{ϵ}=-[{\nabla }_{\theta }R(\hat{\theta })+ϵ{\nabla }_{\theta }^{2}L(z,\hat{\theta }){]}^{-1}[0+ϵ{\nabla }_{\theta }L(z,\hat{\theta })+o({\Delta }_{ϵ})],$$
因为$ϵ\to 0$, ${\Delta }_{ϵ}\to 0$ 易知,
$$\frac{d{\Delta }_{ϵ}}{dϵ{|}_{ϵ=0}}=-H_{\hat{\theta }}^{-1}{\nabla }_{\theta }L(z,\hat{\theta }).$$