最优传输理论下对抗攻击可解释性

1 引言

 该论文是关于对抗攻击理论性的文章，作者为对抗攻击提供了非常可靠的解释性。当前最优传输理论是深度学习理论中非常热门一个的方向，作者从最优传输理论的角度去分析对抗攻击的现象。当学习具有最优传输问题对偶损失的$1\text{-}\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$神经网络时，模型的梯度既是最优传输方案的方向，也是最接近对抗样本的方向。沿着梯度移动到决策边界不再是一种对抗攻击，而是一种反事实的解释，即可以看作明确地从一个类传输到另一个类。通过对可解释$\mathrm{A}\mathrm{I}$度量的大量实验可以发现，应用于最优传输网络的简单显著性映射方法是一种可靠的解释，并且在无约束模型上优于最新的解释方法。
论文链接： https://arxiv.org/pdf/2206.06854.pdf

2 最优传输，鲁棒性和可解释性

 令$\pi$是关于最小化损失函数${\mathcal{L}}_{\lambda ,m}^{hKR}$的最优传输方案。给定$\mathbf{x}\in P_{+}(P_{-})$，令$\mathbf{y}\in {\mathrm{t}\mathrm{r}}_{\pi }(\mathbf{x})\in P_{-}(P_{+})$是$\mathbf{x}$关于$\pi$的图像。因为$\pi$是不确定的，可以令${\mathrm{t}\mathrm{r}}_{\pi }(\mathbf{x})$作为关于$\pi$的最大点，进而有如下命题：

命题1（传输计划方向）： 令$f^{\ast }$是最小化损失函数${\mathcal{L}}_{\lambda ,m}^{hKR}$的一个最优解。给定$\mathbf{x}\in P_{+}(\mathbf{x}\in P_{-})$和$\mathbf{y}={\mathrm{t}\mathrm{r}}_{\pi }(\mathbf{x})$，那么当$\exists t\ge 0(t\le 0)$，则有$\mathbf{y}=\mathbf{x}-t{\nabla }_{\mathbf{x}}{f}^{\ast }(\mathbf{x})$几乎处处成立。

 这个没有$\mathrm{h}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{e}$正则化的命题对于$\mathrm{K}\text{-}\mathrm{R}$对偶问题为真。它证明了对于大多数$\mathbf{x}\in P_{+}\bigcup P_{-}$，${\nabla }_{\mathbf{x}}{f}^{\ast }(\mathbf{x})$表示传输方案的方向。

命题2（决策边界）： 令$P_{+}$和$P_{-}$为两个有最小距离$ϵ$的可分离的分布，$f^{\ast }$为最小化损失函数${\mathcal{L}}_{\lambda ,m}^{hKR}$的一个最优解，其中$m<2ϵ$。给定$\mathbf{x}\in P_{+}\cup P_{-}$和 y = t r π ( x ) ∈ { x − t ∇ x f ∗ ( x ) } {\bf{y}}=\mathrm{tr}_\pi({\bf{x}})\in\{{\bf{x}}-t \nabla_x f^*({\bf{x}})\} y=trπ​(x)∈{x−t∇x​f∗(x)}，则有$|t|>|f^{\ast }(x)|$和$x_{\delta }=\mathbf{x}-f^{\ast }(\mathbf{x}){\nabla }_{\mathbf{x}}{f}^{\ast }(\mathbf{x})\in \delta f^{\ast }$，其中 δ f ∗ = { x ′ ∈ Ω ∣ f ∗ ( x ′ ) = 0 } \delta f^*=\{x^{\prime}\in \Omega|f^*(x^{\prime})=0\} δf∗={x′∈Ω∣f∗(x′)=0}是决策边界。

推论1： 令$P_{+}$和$P_{-}$为两个有最小距离$ϵ$的可分离的分布，$f^{\ast }$为最小化损失函数${\mathcal{L}}_{\lambda ,m}^{hKR}$的一个最优解，其中$m<2ϵ$,给定$\mathbf{x}\in P_{+}\cup P_{-}$，则有$$\mathrm{a}\mathrm{d}\mathrm{v}(f^{\ast },\mathbf{x})=x_{\delta }$$几乎处处成立，其中$x_{\delta }=\mathbf{x}-f^{\ast }(\mathbf{x}){\nabla }_{\mathbf{x}}{f}^{\ast }(\mathbf{x})$。

推论1表明，基于损失函数${\mathcal{L}}_{\lambda ,m}^{hKR}$的分类器精确地得到对抗样本。在这种情况下，最佳对抗攻击是在梯度方向上，应用于最优传输神经网络模型的所有攻击，如$\mathrm{P}\mathrm{G}\mathrm{D}$攻击或$\mathrm{C}\&\mathrm{W}$攻击，都等效于$\mathrm{F}\mathrm{G}\mathrm{S}\mathrm{M}$攻击。为了说明这些命题，作者学习了一个损失函数为${\mathcal{L}}_{\lambda ,m}^{hKR}$的密集二元分类器来分离两个复杂分布。下图（a）显示了两种分布（蓝色和橙色雪花），学习的边界（红色虚线）。下图（b）和（c）显示了两个分布中的随机样本$\mathbf{x}$，其中${\mathbf{x}}_{\delta }$定义在命题2中的段$[\mathbf{x},{\mathbf{x}}_{\delta }]$。正如命题2所所描述的那样，该点正好落在决策边界上。此外，如命题1所述，每个片段提供了图像相对于运输计划的方向。

 作者证明了使用最优传输神经网络时，对抗攻击在形式上是被已知的，并且易于计算。此外，作者还证明了对抗攻击是沿着传输映射进行的，因此对抗攻击不再是一种不可察觉的修改，而是对样本的一种可以理解的转换。作者将利用这些属性来显示${\nabla }_x{f}^{\ast }(\mathbf{x})$提供了一种自然的反事实解释，它具有可证明的解释性属性。
 给定$P_{+}$类中样本$\mathbf{x}$的反事实解释是最接近的样本$\mathbf{y}\in P_{-}$。由于通常无法直接获得$P_{+}$和$P_{-}$的全局信息，所以作者仅针对分类器$f$来获取其局部信息。在这种情况下，反事实对应于命题2中定义的对抗攻击。对于经典的神经网络，这只能通过添加对抗噪声来实现，这不是一个有价值的解释。由于它只依赖于$\mathbf{x}$和$f$，这种反事实解释的定义是局部的。相反，作为$L_{\lambda ,m}^{hKR}$的最小值的传输方案描述了从$P_{+}$类到$P_{-}$的最优方案，所以传输方案是一种全局的反事实解释，并且${\nabla }_{\mathbf{x}}{f}^{\ast }(\mathbf{x})$是对$\mathbf{x}$的局部解释。需要注意的是，传输方案并没有在相反的类上提供最接近的样本，但在配对过程中提供了最接近的平均值。根据命题1，最优传输方案中$\mathbf{x}$的图像为$\mathbf{y}=\mathbf{x}+t{\nabla }_{\mathbf{x}}{f}^{\ast }(\mathbf{x})$。即使$t$仅部分已知，当$t=f^{\ast }(\mathbf{x})$时，可知$\mathbf{y}$在决策边界上，并且可以进一步确定$|t|\ge |f(x)|$在最优传输方案的路径上。
 以往显著图${\varphi }_x(i)=\left|\frac{\partial f_l}{x_i}\right|$对分类器分类现象只提供了一个非常直观模糊的解释，在该论文中，作者在最优传输神经网络中提出了一个非常值得信赖的解释。${\nabla }_x{f}^{\ast }(x)$表示的是最优传输方案的方向，因此显著图${\varphi }_x(i)=\left|\frac{\partial f_l}{x_i}\right|$表示的是每个输入特征在该方向上的重要程度。

3 $\mathrm{h}\mathrm{K}\mathrm{R}$损失函数

 要知道$1\text{-}\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$函数的一个缺点是，它强烈依赖于损失函数的参数。在二分类情况下，$L_{\lambda }^{hKR}$有两个参数：分别间隙参数$m$和权重参数$\lambda$，其中$\lambda$用于权衡分类模型的鲁棒性和准确性。当类是可分的且$m$足够小时，损失函数中的$\mathrm{h}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{e}$部分会趋于$0$。这会使得参数$m$很难选择，在该论文中作者提出了一个新的损失公式如下所示：$${\mathcal{L}}_{\lambda ,\alpha }^{hKR}(f)={\mathbb{E}}_{\mathbf{x}\sim P_{-}}[f(\mathbf{x})]-{\mathbb{E}}_{\mathbf{x}\sim P_{+}}[f(\mathbf{x})]+\lambda ({\mathbb{E}}_{\mathbf{x}}(m-Yf(\mathbf{x}){)}_{+}+\alpha m)$$其中$m>0$是一个可学习的参数，$0<\alpha <1$是一个新的参数。$f(\mathbf{x})$在边界间隙是一个均匀分布，当$\mathbf{x}$的比率为$\alpha$时，使得$f(\mathbf{x})\le m$，则最优间隙参数$m$可以被获得，后者可以解释为损失的关键部分所涉及的目标数据比例。选择$\lambda \approx \frac{1}{\alpha }$，在优化过程中，$\mathrm{K}\mathrm{R}$的权重部分与$\mathrm{h}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{e}$部分大体一致。使用这种方法，可以选择的唯一参数是$\alpha$，它可以解释为学习过程中目标的近似错误率。
 给定一个有$q$类的多分类问题，$f_1,\cdots ,f_q$是一个一对多的二分类器，损失函数如下所示$${\mathcal{L}}_{\lambda }^{hKR}(f_1,\cdots ,f_q)=\sum _{k=1}^q\left[{\mathbb{E}}_{\mathbf{x}\sim \neg P_k}[f_k(\mathbf{x})]-{\mathbb{E}}_{\mathbf{x}\sim P_k}[f_k(\mathbf{x})]\right]+\lambda {\mathbb{E}}_{\mathbf{x},\mathbf{y}\bigcup _{k=1}^q{P}_k}(H(f_1(\mathbf{x}),\cdots ,f_q(\mathbf{x})),y)$$其中$$H(f_1(\mathbf{x}),\cdots ,f_q(\mathbf{x}))=\sum _{k=1}^{q}m-(2\ast {\mathbb{I}}_{y=k}-1)\ast f_k(\mathbf{x})$$以上公式主要有三个缺点：其一是每个类的最佳边距可能不同，导致会有大量超参数需要被调参；其二是对于大量类中样本分布不平衡可能会导致模型收敛速度缓慢；其三是$f_{\mathbf{y}}(\mathbf{x})$（真实类别的函数）相对于其他类别的权重随着类别数量的增加而降低。 为了克服这些缺点，作者提出了一种基于$\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}$的$\mathrm{h}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{e}$正则化损失函数：$$H_{\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}}^{\alpha }(f_1(\mathbf{x}),\cdots ,f_q(\mathbf{x}))=m_y-\frac{1}{2}{f}_y(\mathbf{x})+\frac{1}{2}\sum _{k\ne y}{f}_k(\mathbf{x})\ast \frac{e^{f_k(\mathbf{x})}}{\sum _{j\ne y}{e}^{f_j(\mathbf{x})}}+\alpha m_y$$其中$m_y\ge 0$，对于真实的类别，$f_{\mathbf{y}}(\mathbf{x})$和其它函数总是有相同的权重。在学习的初期阶段，因为$f_k$的取值是平均的；在训练的过程中，$f_k$的值会逐渐不同，直至某个分量出现最大值并稳定。

4 实验结果

 作者使用插入和删除指标评估最优传输神经网络的显著图解释的质量。在$\mathrm{C}\mathrm{e}\mathrm{l}\mathrm{e}\mathrm{b}\mathrm{A}$和$\mathrm{F}\mathrm{a}\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{M}\mathrm{N}\mathrm{I}\mathrm{S}\mathrm{T}$数据集上针对两种类型的网络评估经典解释方法。下表显示在显著图方法在最优传输神经网络上的指标上变得具有竞争力并且提供了更加可靠的解释性。

 下表评估了不同数据集在最优传输网络上两个指标$L_2$和$\mathrm{S}\mathrm{p}\mathrm{e}\mathrm{a}\mathrm{r}\mathrm{m}\mathrm{a}\mathrm{n}$等级相关系数$\rho$。最优传输网络上解释距离远低于无约束的解释距离，并且非常接近于$0$。

 下图为定性可视化结果，可以直观的发现说明了在最优神经网络中提供了更好更清晰的解释性。

 从下表定量结果可以直观的发现，通过所有这些实验得出结论，使用多种类型的解释指标，最优传输神经网络的可解释性优于无约束的神经网络。
 下面两张图分别在$\mathrm{C}\mathrm{e}\mathrm{l}\mathrm{e}\mathrm{b}\mathrm{A}$和$\mathrm{F}\mathrm{a}\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{M}\mathrm{N}\mathrm{I}\mathrm{S}\mathrm{T}$数据集上学习到的最优传输网络，下面两张图显示了原始图像，通道上的平均梯度${\nabla }_x{f}_j$，以及有传输方案方向的图像。可以直观的发现，大多数梯度在视觉上都是一致的。

5 附录证明

 关于损失函数${\mathcal{L}}_{\lambda ,m}^{hKR}$的最优传输问题如下所示$$\underset{f\in {\mathrm{L}\mathrm{i}\mathrm{p}}_1(\Omega )}{\inf }{\mathcal{L}}_{\lambda (f),m}^{hKR}=\underset{\pi \in {\Pi }_{\lambda }^p(P_{+},P_{-})}{\inf }{\int }_{\Omega \times \Omega }|\mathbf{x}-\mathbf{z}|d\pi +{\pi }_{\mathbf{z}}(\Omega )-1$$其中${\Pi }_{\lambda }^p(P_{+},P_{-})$表示包含关于联合测度$d{P}_{+}\times d{P}_{-}$，$\frac{d{\pi }_{\mathbf{x}}}{d{P}_{+}}\in [p,p(m+\lambda )]$和$\frac{d{\pi }_{\mathbf{z}}}{d{P}_{-}}\in [1-p,(1-p)(m+\lambda )]$的正测度$\pi \in {\mathcal{M}}_{+}(\Omega \times \Omega )$的集合，${\pi }^{\ast }$是最优传输方案，$f^{\ast }$是相应的势函数。
命题1证明： 已知有$$\Vert {\nabla }_x{f}^{\ast }(\mathbf{x})\Vert =1$$几乎处处成立，并且有$${\mathbb{P}}_{(\mathbf{x},\mathbf{y})\sim {\pi }^{\ast }}(|f^{\ast }(\mathbf{x})-f^{\ast }(\mathbf{y})|=\Vert \mathbf{x}-\mathbf{y}\Vert )=1$$给定${\mathbf{x}}_{\alpha }=\alpha \ast x+(1-\alpha )\mathbf{y},0\le \alpha \le 1$有$${\mathbb{P}}_{(\mathbf{x},\mathbf{y})\sim {\pi }^{\ast }}\left({\nabla }_x{f}^{\ast }({\mathbf{x}}_{\alpha })=\frac{{\mathbf{x}}_{\alpha }-\mathbf{y}}{\Vert {\mathbf{x}}_{\alpha }-\mathbf{y}\Vert }\right)=1$$当$\alpha =1$时，则有$${\mathbb{P}}_{(\mathbf{x},\mathbf{y})\sim {\pi }^{\ast }}\left({\nabla }_x{f}^{\ast }(\mathbf{x})=\frac{\mathbf{x}-\mathbf{y}}{\Vert \mathbf{x}-\mathbf{y}\Vert }\right)=1$$进而则有
$${\mathbb{P}}_{(\mathbf{x},\mathbf{y})\sim {\pi }^{\ast }}(\mathbf{y}=\mathbf{x}-{\nabla }_x{f}^{\ast }(\mathbf{x})\Vert \mathbf{x}-\mathbf{y}\Vert )=1$$所以当选择$t=\Vert \mathbf{x}-\mathbf{y}\Vert$时，命题1证明成立。

命题2证明： 令$P_{+}$和$P_{-}$是两个可分离的分布，有最小距离$ϵ$和最小化损失函数${\mathcal{L}}_{\lambda ,m}^{hKR}$的最优解，其中$m<2ϵ$。$\forall \mathbf{x}\in P_{+}$，$f^{\ast }(\mathbf{x})\ge 0$和$\forall \mathbf{y}\in P_{-}$，$f^{\ast }(\mathbf{y})\le 0$。给定$\mathbf{x}\in P_{+}$和$\mathbf{y}=\mathrm{t}\mathrm{r}(\mathbf{x})=\mathbf{x}-t{\nabla }_x{f}^{\ast }(\mathbf{x})$和$\mathbf{y}\in P_{-}$，根据命题1可知$$\begin{array}{rl}|f^{\ast }(\mathbf{x})-f^{\ast }(\mathbf{y})|& =\Vert \mathbf{x}-\mathbf{y}\Vert \\ |f^{\ast }(\mathbf{x})-f^{\ast }(\mathbf{y})|& =\Vert \mathbf{x}-(\mathbf{x}-t{\nabla }_x{f}^{\ast }(\mathbf{x}))\Vert \\ |f^{\ast }(\mathbf{x})-f^{\ast }(\mathbf{y})|& =\Vert t{\nabla }_x{f}^{\ast }(\mathbf{x})\Vert \\ |f^{\ast }(\mathbf{x})-f^{\ast }(\mathbf{y})|& =t\Vert {\nabla }_x{f}^{\ast }(\mathbf{x})\Vert \\ f^{\ast }(\mathbf{x})-f^{\ast }(\mathbf{y})& =t\\ f^{\ast }(\mathbf{y})& =f^{\ast }(\mathbf{x})-t\end{array}$$其中$t\ge 0$，${\nabla }_x{f}^{\ast }(\mathbf{x})=1$，$f^{\ast }(\mathbf{x})\ge 0$，$f^{\ast }(\mathbf{y})\le 0$。 当$f^{\ast }(\mathbf{y})\le 0$时，则有$$f^{\ast }(\mathbf{x})\le t$$因为$f^{\ast }$是连续的，$\exists t^{\prime }>0$，${\mathbf{x}}_{\delta }=\mathbf{x}-t^{\prime }{\nabla }_x{f}^{\ast }(\mathbf{x})$和$f^{\ast }(\mathbf{x})$，则有$$\begin{array}{rl}|f^{\ast }(\mathbf{x})-f^{\ast }({\mathbf{x}}_{\delta })|& \le \Vert \mathbf{x}-{\mathbf{x}}_{\delta }\Vert \\ f^{\ast }(\mathbf{x})& \le \Vert \mathbf{x}-(\mathbf{x}-t^{\prime }{\nabla }_x{f}^{\ast }(\mathbf{x}))\Vert \\ f^{\ast }(\mathbf{x})& \le t^{\prime }\end{array}$$和$$\begin{array}{rl}|f^{\ast }({\mathbf{x}}_{\delta })-f^{\ast }(\mathbf{y})|& \le \Vert {\mathbf{x}}_{\delta }-\mathbf{y}\Vert \\ -f^{\ast }(\mathbf{y})& \le \Vert (\mathbf{x}-t^{\prime }{\nabla }_x{f}^{\ast }(\mathbf{x}))-(\mathbf{x}-t{\nabla }_x{f}^{\ast }(\mathbf{x}))\Vert \\ -f^{\ast }(\mathbf{y})& \le t-t^{\prime }\\ -f^{\ast }(\mathbf{y})& \le \Vert \mathbf{x}-\mathbf{y}\Vert -t^{\prime }\end{array}$$如果$f^{\ast }(\mathbf{x})<t^{\prime }$，则有$$\begin{array}{rl}{f}^{\ast }(\mathbf{x})-f^{\ast }(\mathbf{y})& \le t^{\prime }+\Vert \mathbf{x}-\mathbf{y}\Vert -t^{\prime }\\ f^{\ast }(\mathbf{x})-f^{\ast }(\mathbf{y})& <\Vert \mathbf{x}-\mathbf{y}\Vert \end{array}$$此时出现矛盾，所以则有$f^{\ast }(\mathbf{x})=t$和${\mathbf{x}}_{\delta }=\mathbf{x}-f^{\ast }(\mathbf{x}){\nabla }_x{f}^{\ast }(\mathbf{x})$。

生词总结

论文中出现的生词
proposition: 命题	minimizer:最小化
deterministic:确定性	counterfactual:反事实
automatic: 自动的	margin:空隙
separable:可分离的	deletion: 删除