Bias Also Matters: Bias Attribution for Deep Neural Network Explanation 论文阅读笔记

Bias Also Matters: Bias Attribution for Deep Neural Network Explanation

会议：ICML
时间：2019年

此前提出的归因可解释方法认为可以将一个非线性的DNNs模型，在输入图像位置展开成线性模型（即$g(x)=wx+b$），以解释不同输入特征的重要性。但这些方法均忽略了偏置项$b$的重要性。本文发现偏置项b对于解释一个神经网络的归因来说是不可或缺的，并且提出一个全新的算法“bias back-propagation（BBp）”从网络输出到输入计算偏置项的贡献度，得到偏置的归因。与基于反向传播的算法结合，可以完全还原出对于输入图像的局部线性模型$g(x)=wx+b$。

1. Introduction

通常情况下，如果模型是线性的，梯度就能近似表示其权重向量。由于线性模型可以局部逼近任何足够平滑的非线性模型（泰勒展开），因此梯度也可以看作是给定数据点上给定DNN的局部线性模型的权重向量。而对于一个分段线性的DNN模型（例如使用ReLU，LeakyReLU，PReLU和hard tanh为激活函数的模型来说）梯度可以表示为其局部线性模型的权重，因为这些激活函数实际上没有非线性的部分，都是通过直线构成的，可以写成线性的形式。

然而，尽管梯度能有效帮助我们理解现有的DNN模型，但目前还没有方法对其中的偏置项的作用进行研究。对于分类任务来说，线性模型的梯度部分对目标标签输出概率的贡献可以忽略不计（甚至是负对数值），只有在偏置项较大的情况下，目标标签的概率才会大于其他标签，从而得出正确的预测结果，实验表明，当仅用偏置项作为预测都能达到完整DNN 30%-40%的结果。这就证明了偏置项在DNN中的重要性。

2. Related Work

此部分主要就是介绍之前出现的基于梯度的可解释算法，并提出他们都没有明确研究偏置项的重要性。

3. Background and Motivation

通常一个前馈神经网络如下所示：

$$f(x)=W_m{\psi }_{m-1}(W_{m-1}{\psi }_{m-2}(\dots {\psi }_1(W_{1}x+b_1)\dots )+b_{m-1})+b_m\text{\hspace{1em}(1)}$$

其中$W_i$为权重矩阵，$b_i$为偏置项（标量），${\psi }_i$为响应的激活函数。$x\in X$为包含$d_{in}$维度的输入数据，$f(x)$为维度为$d_{out}$的输出结果，每个隐藏层$i$对应$d_i$个点（维度）。在后续计算中，并没有考虑softmax层。

3.1 Piecewise Linear Deep Neural Networks

在本文中，主要关注具有分段线性激活函数的DNN网络（比如使用GELU等激活函数的模型则不满足这一条件）。分段线性激活函数主要包括ReLU、Leaky ReLU、PReLU和hard tanh函数。

对于一个分段线性激活函数应用于一个实际的输入值$z$的一般形式如下：

$$\psi (z)=\{\begin{array}{rl}{c}^{(0)}\cdot z,& \mathrm{if}z\in ({\eta }_0,{\eta }_1]\\ c^{(1)}\cdot z,& \mathrm{if}z\in ({\eta }_1,{\eta }_2]\\ \cdots ,\cdots & \\ c^{(h-1)}\cdot z,& \mathrm{if}z\in ({\eta }_{h-1},{\eta }_h)\end{array}\text{\hspace{1em}(2)}$$

上面的公式中，包含了$h$个线性段，其对应于实轴上的h个预定区间（比如ReLU包括2个线性段）。这里将$z$的激活模式$\varphi (z)$定义为包含$z$的区间的索引，其可以为0到h-1的任意一个值，用于决定究竟选择哪个线性段。例如，在一个ReLU激活函数${\psi }_{ReLU}(z)=\max (0,z)$中，其激活模式 ϕ ( z ) ∈ { 0 , 1 } d i \phi(z) \in \{0,1\}^{d_i} ϕ(z)∈{0,1}di​，其对应的${\eta }_0=-\infty$，${\eta }_1=0$，${\eta }_2=+\infty$。假设$z$为4的时候，满足区间2，此时$\varphi (z)=1$表示选择$c^{(1)}$。而在ReLU中，小于0的部分置为0，大于0的部分保留原值，因此$c^{(0)}=0$，$c^{(1)}=1$。

而分段线性激活函数可以使DNN在输入点$x$附近变为分段线性函数。具体来说，对于DNN的每个线性部分有：

$$\begin{array}{rl}f(x)=& \prod _{i=1}^m{W}_i^{x}x+\left(\sum _{j=2}^m\prod _{i=j}^m{W}_i^x{b}_{j-1}^x+b_m\right)\\ =& \frac{\partial f(x)}{\partial x}x+b^x.\end{array}\text{\hspace{1em}(3)}$$

其中$W_i^x$和$b_i^x$由模型中$W_i$和$b_i$修改而来，满足：

$$\begin{array}{r}{x}_{i+1}={\psi }_i(W_i{x}_i+b_i)=W_i^x{x}_i+b_i^x\end{array}\text{\hspace{1em}(4)}$$

其中$x_i$为第$i$层的激活，可以根据公式4推出公式3。而$W_i^x$和$b_i^x$中每一行和每个元素的定义如下：

$$\begin{array}{rl}{W}_i^x[p]& =c^{(\varphi (W_i{x}_i+b_i)[p])}\cdot W_i,\\ \mathrm{and}{b}_i^x[p]& =c^{(\varphi (W_i{x}_i+b_i)[p])}\cdot b_i.\end{array}\text{\hspace{1em}(5)}$$
也就是直接用$c$中的元素与$W_i$和$b_i$点乘。具体的实现可以预先根据$(W_i{x}_i+b_i)[p]$的值构建一个矩阵$C$，满足大于0则$C[p]$全部设置为1，小于0则$C[p]$全部设置为0。

举个例子：

假设某一层$x_{i+1}={\psi }_i(W_i{x}_i+b_i)$，其中$x_i\in R^{D_{in}}$和$x_{i+1}\in R^{D_{out}}$分别表示第$i$层和第$i+1$层的向量。$W_i\in R^{D_{out}\times D_{in}}$，$b_i\in R^{D_{out}}$。假设${\psi }_i$为ReLU，我们可以构建一个矩阵$C\in R^{D_{out}\times D_{out}}$和向量$B\in R^{D_{out}}$其中$C$中的第$p$行和$B$中第$p$个元素根据$(W_i{x}_i+b_i)[p]$计算。

通过这种方式，就可以将一个分段线性模型在$x$局部近似成上述线性模型，且梯度$\frac{\partial f(x)}{\partial x}$表示线性模型的权重向量。

3.2 Attribution of DNN Outputs to Inputs

对于一个给定的输入点$x$，用$f(x)$表示最终预测得分。根据公式3，对于一个带分段线性的DNN网络，我们可以通过反向传播计算梯度$\frac{\partial f(x)}{\partial x}$表示其权重，而对于偏置$b$则无法简单计算出，且没有人对偏置进行分析。

一个可能的原因是因为偏置本身只是一个标量，相对于权重向量不太重要，仅包含有关深度模型决策的次要信息。但由于应用于每个神经元的偏置项对决定激活模式至关重要（例如，将神经元的输出从负值变为正值用于 ReLU），因此本文希望能通过揭示偏置项的生成过程对深度模型的行为有更好的理解。

此外在分类模型中可以发现，部分权重项$\frac{\partial f(x)}{\partial x}x$对于决策只能起到小的甚至负作用，在这种情况下，忽略偏置项可能会提供错误的归因结果。在直觉上，偏置项还改变了分段线性 DNN 的几何形状，如下图所示，这表示偏置本身也是DNN的重要组成部分，对于分类决策起到重要的作用。

因此本文将着重于对偏置项进行解释，以得到能与权重互补的偏置项解释。

4. Bias Backpropagation for Bias Attribution

本节的目的是找到一个与输入维度$d_{in}$相同的向量$\beta$，对于每个样本满足：${\sum }_{p=1}^{d_{i\mathbf{n}}}\beta [p]=b^{\mathbf{x}}$，因为在公式3中的偏置只是一个标量，而如果想知道其对每个特征的归因就要构建一个输入维度为$d_{in}$的向量。下面将提出一种基于反向传播的计算Bias的算法（我觉得主要思想和LRP很像，都是模拟）。

4.1 Bias Backpropagation（BBp）

假设$x_l$为某个中间层的输入，满足$l\ge 2$，即：

$$\begin{array}{rl}{x}_{\ell }=& {\psi }_{\ell -1}(W_{\ell -1}{x}_{\ell -1}+b_{\ell -1})\\ =& {\psi }_{\ell -1}(W_{\ell -1}{\psi }_{\ell -2}(\dots {\psi }_1(W_{1}x+b_1)\dots )+b_{\ell -1})\end{array}\text{\hspace{1em}(6)}$$

我们根据公式3中递归，可以用任意层$l$的输入$x_l$表示最后的输出$f(x)$。因此可以得到如下引理：

引理1：给定$x$，一个分段线性DNN的输出$f(x)$可以写成任意层 $l>2$ 的输入$x_l$的线性模型（$x_1=x$为原始数据），定义如下：

$$f(x)=\left(\prod _{i=\ell }^m{W}_i^x\right)x_{\ell }+\left(\sum _{j=\ell +1}^m\prod _{i=j}^m{W}_i^x{b}_{j-1}^x+b_m\right)\text{\hspace{1em}(7)}$$

对于$l$层每个节点$x_l[p]$，我们的目的是计算${\beta }_l[p]$，其应该满足：

$$\sum _{p=1}^{d_{\ell }}{\beta }_{\ell }[p]=\sum _{j=\ell +1}^m\prod _{i=j}^m{W}_i^x{b}_{j-1}^x+b_m\text{\hspace{1em}(8)}$$

因此公式7可以写成$d_l$求和的形式，即：

$$f(x)=\sum _{p=1}^{d_{\ell }}\left[\left(\prod _{i=\ell }^m{W}_i^x\right)[p]\cdot x_{\ell }[p]+{\beta }_{\ell }[p]\right]\text{\hspace{1em}(9)}$$

上式给出了输出f(x)在DNN的每个中间层节点$x_l[p]$上的归因。其主要分为两部分，梯度归因和偏置归因。观察公式8等号右侧可以发现，其实际上为层$l$到最后一层偏置项的总和（只不过不同层$b$前面的$W$不一样，在这个公式中$b_m$表示最后一层，而${\prod }_{i=j}^m{W}_i^x{b}_{j-1}^x$表示层$j-1$）,因此可以尝试设计一种递归规则，根据$l$层的归因${\beta }_l$计算$l-1$层偏置的归因。

具体来说，可以模拟LRP贡献度分配，将${\beta }_l[p]$分配到$l-1$层的不同$x_{l-1}[q]$上，并且保证这些归因之和依然为${\beta }_l[p]$，这里用$B_l[p,q]$表示偏置的归因在$x_l[p]$和$x_{l-1}[q]$上的信息交流。下面对$B$进行定义：

$$B_{\ell }[p,q]\triangleq {\alpha }_{\ell }[p,q]\times {\beta }_{\ell }[p]\text{\hspace{1em}(10)}$$

其中${\alpha }_l[p,q]$表示$x_{l-1}[q]$对$x_l[p]$的贡献度，其满足：

$$\sum _{q=1}^{d_{\ell -1}}{\alpha }_{\ell }[p,q]=1\mathrm{and},\forall p\in [d_{\ell }],q\in [d_{\ell -1}]\text{\hspace{1em}(11)}$$

后面将介绍其计算方法。
对于$l-1$层节点$x_{l-1}[q]$的偏置归因${\beta }_{l-1}[q]$的计算方式如下：

$${\beta }_{\ell -1}[q]=\prod _{i=\ell }^m{W}_i^x{b}_{j-1}^x+\sum _{p=1}^{d_{\ell }}{B}_{\ell }[p,q]\text{\hspace{1em}(12)}$$

注意前面的$B_l[p,q]$只是通过信息交流计算出$b_m$，而不是偏置的归因，因为真正的归因要加上前面其他层的偏置$b$。而也很容易证明，对其求和可得到的：

$$\sum _{q=1}^{d_{\ell -1}}{\beta }_{\ell -1}[q]=\sum _{j=\ell }^m\prod _{i=j}^m{W}_i^x{b}_{j-1}^x+b_m\text{\hspace{1em}(13)}$$

而其同样可以写成如公式9的形式，即：

$$f(x)=\sum _{q=1}^{d_{\ell -1}}\left[\left(\prod _{i=\ell -1}^m{W}_i^x\right)[q]\cdot x_{\ell -1}[q]+{\beta }_{\ell -1}[q]\right]\text{\hspace{1em}(14)}$$

因此我们可以从最后一层递归地应用公式10-12，从最后一层计算到第一层。整体算法如下所示：

4.2 Options to Compute Attribution Scores in ${\alpha }_l[p]$

本段将主要介绍${\alpha }_l[p]$的设计规则。通常${\alpha }_l[p,q]$表示$x_l[p]$的偏差应有多少归因于$x_{l-1}[p]$。因此本段共设计三种规则，第一种为compensation for the weight or gradient term，剩余两种为contribution of the gradient term。

第一种：

已知$x_{\ell }[p]={\sum }_{r:=1}^{d_{l-1}}{W}_{\ell -1}^x[p,r]x_{\ell -1}[r]+b_{\ell }^x[p]$，假设$b_{\ell }^x[p]$为负，则表明梯度分量${\sum }_{r:=1}^{d_{l-1}}{W}_{\ell -1}^x[p,r]x_{\ell -1}[r]$要大于本来应达到的值，因此这里要加入一个负的偏置分量$b_{\ell }^x[p]$，以得到输出$x_{\ell }[p]$。因此，根据梯度分量，应该为下层分配一个更大的偏置（因为相当于模型更关注此部分的分量，其实在计算的时候还是主要考虑梯度分量）。同理，对于$b_{\ell }^x[p]$为正的情况，表示梯度分量没有达到desirable，因此对其分配一个较小的权重。公式如下：

$${\alpha }_{\ell }[p,q]=\frac{1_{e(l-1,p,q)=1}\exp (s_{\ell }[p,q]/T)}{{\sum }_{r=1}^{d_{\ell -1}}{1}_{e(l-1,p,r)=1}\exp (s_{\ell }[p,r]/T)}\text{\hspace{1em}(15)}$$

其中：

$$s_{\ell }[p,q]=-\mathrm{sign}(b_{\ell }^x[p])\cdot W_{\ell -1}^x[p,q]x_{\ell -1}[q]\text{\hspace{1em}(16)}$$

$$e(l-1,p,q)=|\mathrm{sign}(W_{\ell -1}^x[p,q]x_{\ell -1}[q])|\text{\hspace{1em}(17)}$$

乍看与直接计算梯度分量并进行softmax的方式没有区别，但实际上要考虑$b$的符号，与$b$相反。比如假设$b$为正的话，即使此时梯度分量也为正值但其算出来的权重也很小，因为我们的目的是要分配$b$的权重到上一层的$b$，对于$b$来说其表达的含义就是负贡献。

上式中$T$为温度变量，$T$越大softmax的值越平均，$T$越小越能凸显极端值。而$e$主要说明此处仅考虑非0值，因为0值对输出值没有任何贡献。

第二种：

为了得到$x_l[p]$，假设每个分量$W_{\ell -1}^x[p,q]x_{\ell -1}[q]$都应分配相同的权重，其为平均目标值，即$x_{\ell }[p]/{\sum }_{r=1}^{d_{l-1}}{1}_{e(l-1,p,q)=1}$。而每个分量与平均目标值的偏移量可视为每个特征对该层输出的贡献，我们根据贡献的指数值来确定偏差项，满足：

$$s_{\ell }[p,q]=\frac{x_{\ell }[p]}{{\sum }_{r=1}^{d_{l-1}}{1}_{e(l-1,p,q)=1}}-W_{\ell -1}^x[p,q]x_{\ell -1}[q]\text{\hspace{1em}(18)}$$

其余部分与公式15-17相同。

第三种：
此方法与基于梯度项的贡献进行归因的方法十分相似，但只能用于ReLU激活函数下。因为在ReLU激活函数中，中间的隐藏层神经元是非负的，不像之前的方法还需要考虑负数。因此可以得到如下公式：

$${\alpha }_{\ell }[p,q]=\frac{1_{e^{+}(l-1,p,q)=1}{W}_{\ell -1}^x[p,q]x_{\ell -1}[q]}{{\sum }_{r=1}^{d_{\ell -1}}{1}_{e^{+}(l-1,p,r)=1}{W}_{\ell -1}^x[p,r]x_{\ell -1}[r]}$$

其中$e^{+}(l-1,p,q)=\mathrm{sign}(W_{\ell -1}^x[p,q]x_{\ell -1}[q])$。相比于前面的方法，这里就简单的直接考虑梯度项的权重，不像第一种方法一样，因为这里只有正项。

而后续的实验证明，没有单一的解决方案可以获得最佳归因函数。

实际上这三种方法的本质，就是以一个基准，看前一层神经元$q$对本层x的结果起到正作用还是副作用，比如第一种里当b为负数，则表示算出来的$Wx$要大于目标值，因此一定是起到正作用的，所以要取b相反的值为符号，并且本质上还是贡献度分配。

5. Experiments

与其他算法的对比结果如上图，可以看到bias的解释在某种程度上能与基于梯度的解释形成互补，比如Brambling种，基于梯度的解释更集中于关注鸟肚子部分，而bias更集中关注鸟的轮廓和尾巴。