Understanding adversarial robustness via critical attacking route（通过关键攻击路径了解对抗鲁棒性）

论文地址：Understanding adversarial robustness via critical attacking route.

Abstract

深度神经网络 (DNN) 容易受到由具有难以察觉的扰动的输入生成的对抗性示例的影响。了解 DNN 的对抗性鲁棒性已成为一个重要问题，这肯定会导致更好的实际深度学习应用。为了解决这个问题，我们尝试从关键攻击路径的新角度解释深度模型的对抗鲁棒性，该路径由基于梯度的影响传播策略计算。类似于社交网络中的谣言传播，我们认为对抗性噪音通过关键攻击路线被放大和传播。通过逐层利用神经元的影响，我们用对模型决策做出最高贡献的神经元组成关键攻击路线。在本文中，我们首先将对抗性鲁棒性与关键攻击路径联系起来，因为该路线对对抗环境中的模型预测做出了最重要的贡献。通过约束这条路径上的传播过程和节点行为，我们可以削弱扰动的传播并提高模型的鲁棒性。此外，我们发现关键攻击神经元可用于评估样本对抗性硬度，具有较高刺激的图像更容易被干扰为对抗性示例。

主要贡献

理解和解释对抗性示例可以洞察模型的弱点和盲点，为我们提供构建稳健深度学习模型的线索。在社交网络中，提供更高信息容量的节点比其他节点更重要，这些节点很可能会传播谣言并被包含在关键路线中。每次扰动的小残余对抗性逐渐放大并从底层传播到顶层，最终导致错误的模型行为。

作者提出了一种基于梯度的影响传播策略来获得关键攻击神经元，这将进一步有助于为神经网络构建神经元的关键攻击路线：

1. 提出了一种基于梯度的影响逐层传播方法，以在多个级别（包括实例级别和模型级别）提取关键攻击路径。 关键攻击路径负责在深度学习模型中传递对抗性噪声和重要的语义信息。 这条路线有助于理解对抗环境中的模型行为。
2. 关键攻击路线揭示了深度模型的一些对抗性缺陷。 因此，我们可以通过约束和纠正关键攻击路线内神经元的行为来直接提高对抗对抗样本和腐败的鲁棒性。
3. 基于关键攻击路线，我们提出了一种评估样本对抗性硬度的指标，该指标衡量了我们需要应用于样本以欺骗模型的对抗性扰动的强度。 这个指标为我们提供了一个机会来判断图像被扰乱成对抗样本的难度。

寻找关键攻击路径

下一层具有更高梯度的神经元更有可能对下一层的隐藏表示做出更高的贡献。将这些神经元称为关键攻击神经元。关键攻击路线由这些关键攻击神经元和它们之间的所有连接组成。
首先通过计算反向梯度提取每个图像的关键攻击路径。 在为每个图像提取实例级关键攻击路径后，将实例级关键攻击路线聚合到模型级路径中。具体的，整体流程框图如下所示：

一些定义

给定具有样本$x\in X$和类标$y\in Y$的数据集$D$，深度监督学习模型尝试学习一个映射或分类函数 $F:X\to Y$。模型$F$由$L$个串行的层组成，对于第$l$层$F_l$，其中$l=1,...,L$，包含一个神经元集。使用上标$m$来表示满足$F_l^m\in F_l$的第$m$个神经元。一个神经元$F_l^m$的输出$Z_l^m$相当于第$l$层特征图的第$m$个通道。对抗性示例具有微小的扰动，但能使模型输出错误分类：
$$F(x^{\prime })\ne ys.t.\Vert x-x^{\prime }\Vert <ϵ$$

计算神经元之间的影响

寻找关键神经元的难点是计算两个相邻层的神经元之间的影响。通过在反向传播期间计算神经元之间的梯度，可以有效地解决该问题。事实上，梯度很大程度上取决于内核权重。相反，在最后一层，选择相对于损失具有更大梯度的神经元。然后，基于它们对后几层的影响，以反向传播的形式选择每一层的关键攻击神经元。例如，通过反向传播计算第$l-1$层的第$i$个神经元$F_{l-1}^i$和第$l$层的第$j$个神经元$F_l^j$的影响。

对于神经元输出$Z_l^j$中的单个元素$z$，计算第$l$层第$i$个神经元输出$Z_{l-1}^i$对单个元素的影响。 使用以下公式：
$$c_{l-1}^{i,z}=\sum _{s\in S_{l-1}^i}\left|\frac{\partial z}{\partial A(s,Z_{l-1}^i)}\right|(1)$$
其中 $S_{l-1}^i$是第$l-1$层第$i$个神经元中的元素集，$A(\cdot )$表示提取特定位置的元素。神经元的影响计算为相对于神经元内每个位置的元素的梯度绝对值之和。为了最好地描述影响，我们认为，应该在考虑$Z_{l-1}^i$的所有元素变化方向后添加$\left|\cdot \right|$操作。两个中间层之间的梯度计算过程是基于卷积核参数的，不需要通过链式规则计算它们对损失$L$的梯度。
首先计算$Z_l^j$中的每个元素$z$的$c_{l-1}^{i,z}$。然后通过对$Z_l^i$中的所有元素$z$求和$c_{l-1}^{i,z}$来计算$Z_{l-1}^i$和$Z_l^j$之间的神经元影响。请注意，结果是在没有$\left|\cdot \right|$的情况下求和的，因为$Z_l^j$中元素值的所有变化都是由并集$Z_{l-1}^i$的变化引起的，可以将其视为仅在一个方向上发生变化：
$$c_{l-1}^{i,j}=\sum _{z\in Z_l^j}{c}_{l-1}^{i,z}(2)$$

实例级关键攻击路径

由于关键攻击路线是使用对下一层（或损失）贡献最大的神经元形成的，我们可以做出一个关键假设，即这条路线包含最关键的信息。路线的少量变化将对模型预测产生巨大影响。换句话说，当模型做出正确的预测时，这条路线传达了最重要的语义。相反，这条路线也包含了模型被攻击时的大部分对抗性错误。
给定一个样本$x$，首先推导出最后一个卷积层$L$的第 $m$个神经元相对于损失$L$的梯度，从而产生它们对模型决策的贡献：
$$g_L^m=\frac{\partial L}{\partial Z_L^m}(3)$$
其中$Z_L^m$表示第$L$层第$m$个神经元的输出。
然后，可以通过公式$(1)(2)$递归计算第$l-1$层第$i$个神经元$F_{l-1}^i$对第$l$层第$j$个神经元$F_l^j$的影响。通过根据贡献考虑前$k\%$的神经元来进一步挑选关键的攻击神经元。对于最后一个卷积层的神经元，我们有关键的攻击神经元：
$${\omega }_L^x=top-k(F_L,\left|g_L\right|)(4)$$
其中$top-k(\cdot )$表示基于特定度量的输入集的前$k\%$实例。称 k 为关键攻击路径的宽度。在这种情况下，选择$g$作为度量并从集合$F_L$中选择${\omega }_L$。类似地，根据它们对第$l+1$层的关键攻击神经元的影响$c$，选择第$l$层的前$k\%$神经元，递归实现：
$${\omega }_l^x=top-k(F_l,{\tilde{c}}_l^i),{\tilde{c}}_l^i=\sum _{F_{l+1}^j\in {\omega }_{l+1}^x}{c}_l^{i,j}(5)$$
样本$x$的关键攻击路径$R(x)$可以通过不同层的关键攻击节点的连接来描述：
$$R(x)={\omega }_1^x,{\omega }_2^x,...,{\omega }_L^x(6)$$

模型级关键攻击路径

为了充分探索模型对对抗性噪声的行为，进一步提出了从实例级路由聚合得出的模型级关键攻击路径 。给定具有$N$个样本的数据集$D$，可以获得每个图像的实例级关键攻击路线为$R(x_1),R(x_2),...,R(x_N)$。 然后，对于具体的模型，可以计算出所有实例的每一层每个关键攻击神经元的出现频率为$f$。选择最常见的前$k\%$的神经元作为每一层$l$的模型级关键攻击神经元，如下所示：
$${\Omega }_l=top-k(F_l,f_l)(7)$$
从而得到模型级的关键攻击路径：
$$R(D)={\Omega }_1,{\Omega }_2,...,{\Omega }_L(8)$$
需要注意的是，模型级的关键攻击路线不仅仅是许多不同的关键攻击路线的简单叠加。实例级的关键攻击路径在实例之间具有很大的相似性。
计算过程是一个逐层的过程，根据它们对下一层关键神经元的影响来挑选神经元。 这种方法更适用于线性模型。考虑使用分支结构中的梯度总和来处理非线性的模型。

未完待续：通过找到的关键神经元提高模型鲁棒性的方法之后补充