Improving Adversarial Robustness Using Proxy Distributions 笔记

Abstract

在理解和提高图像分类中的对抗鲁棒性方面，着重于使用代理分布，即训练数据集的底层分布的近似。相比之下，代理分布使我们能够获得潜在的无限数量的图像样本，并使用这些样本提高对抗性的鲁棒性。证明了分类器在代理上的鲁棒性与原始训练数据集分布上的差异是由于他们之阿吉男的条件Wasserstein距离的上界，来自与训练数据集分布非常接近的代理分布的样本能够提高对抗鲁棒性。

1 Introduction

最近的研究表明，更多的训练数据可以提高训练的性能，但是这种方法面临这管理大量真实图像进行训练的挑战，使用代理分布–非常接近原始训练数据集的底层分布来规避问题。当使用深度神经网络建模时，如生成对抗网络(GAN)，代理分布允许我们生成潜在的无限数量的高保真图像，关键目标是通过利用来自这种代理分布的样本来提高深度神经网络的对抗性鲁棒性。

2 Integrating proxy distributions in adversarial training

Notation :$X$代表输入空间，Y表示对应的标签空间。我们假设数据的采样来自一个联合分布$D_{X\times Y}$。将图像的潜在分布称为D。虽然 D 未知，但我们假设从该分布中可以获得有限的训练和测试图像集。将代理分布表示为$\tilde{D}$,与 D 不同，$\tilde{D}$是已知的，因为它是使用生成模型建模的。用 $f：X\to Z$表示用于分类的神经网络，由 θ 参数化，它将输入图像映射到输出概率向量 z。将用于训练分类器的交叉熵损失函数表示为$l(.)$，其中$l(\theta ,x,y)=⟨-log(f_{\theta }(x)),y⟩$。 对于从分布 D 中采样的集合 S，使用$\tilde{S}$表示关于集合 S 的经验分布。
Formulation of adversarial training :对抗性训练的关键目标是尽量减少通过对抗性攻击获得的对抗性例子的训练损失.其中 Ω 是威胁模型，其中包括对抗性扰动的大小ε，数量攻击步数，以及每一步的大小。

2.1 Understanding transfer of adversarial robustness between data distributions

我们的目标是使用来自代理分布$\tilde{D}$而不是实际分布D。考虑在X×Y即标记示例空间上的两个分布D、$\tilde{D}$。使用分类器$h:X\to Y$来预测输入样本的类标签。首先定义分类器对分布的平均鲁棒性，然后定义条件Wasserstein距离，这是两个标记分布之间的距离的度量。
Definition 1 (Average Robustness) ：根据距离度量d定义分类器f在分布D上的平均鲁棒性如下：

这是指对每个样本到最接近的敌对例子的距离的期望。与测量在给定距离内是否存在对抗性例子的稳健精度相比，计算了距离最近的对抗性例子的距离。假设L是一个学习算法(例如，对抗性训练)在基于代理分布的鲁棒学习中，我们感兴趣的是，当训练集是一个由来自代理分布D的n个标记样本组成的集合S时，L所获得的分类器的平均鲁棒性限定在分布$\tilde{D}$上。且为下列量提供一个下界

为了更好地理解这个量，假设h是在一个集合S上使用算法l训练的分类器，该集合S是从属于${\tilde{D}}^n$的。我们将Robd(h, D)分解为三个量。

利用这种分解，通过期望的线性性和三角形不等式，我们可以从下面约束$E_{S\leftarrow {\tilde{D}}^{n}h\leftarrow L(S)}[Ro{b}_d(h，D)]$

为了限制平均鲁棒性，我们需要同时限制泛化惩罚和分布偏移惩罚。 实际上，如果 $D和\tilde{D}$相同，则我们处于标准的鲁棒学习环境中，我们只需要处理泛化惩罚。为了提供一个独立于现有分类器的分布偏移惩罚的只与现有分布的性质有关的界，定义两个分布之间的距离的概念。
Definition 2 (Conditional Wasserstein distance) ：对于X×Y上支持的两个标记分布D和$\tilde{D}$,其中$J(D，\tilde{D}$)是边缘与$D和\tilde{D}$相同的联合分布的集合。

两个分布之间的条件 Wasserstein 距离只是每个类的条件分布之间的 Wasserstein 距离的期望。以下定理仅基于两个分布的 Wasserstein 距离来限制任何学习算法的分布偏移惩罚。
Theorem 1 (Bounding distribution-shift penalty) ：

它给出了一种测量用于稳健训练的代理分布质量的方法。尽管存在泛化惩罚，但当提供更多数据时，分布偏移惩罚并不会减少。这个定理使我们能够将注意力从鲁棒泛化转移到创建潜在分布接近原始分布的高质量生成模型。

Corollary 2 ：
设$\bar{D}=p\cdot D+(1-p)\cdot \tilde{D}$为D和˜D的加权混合物。然后对于任何分类器$h：X\to Y$,p的值通常非常小，因为来自代理分布的数据数量通常远高于原始分布。这表明，包括（或不包括）来自原始分布的数据不应该对得到的分布偏移惩罚界有很大的影响。

Theorem 3 (Tightness of Theorem 1) :对于 X × Y 上支持的任何分布 D、任何分类器 h、任何齐次距离 d 和任何$\epsilon \le Ro{b}_d(h,D)$，存在标记分布 $\tilde{D}$ 使得

定理3只显示了定理1对特定分类器的紧密性。但是可能存在一个学习算法L，它在期望中产生了一个更好的界,因此对于任何两个分布$D和\tilde{D}$有

2.2 Improving adversarial robustness using proxy distributions

在紧密代理分布$\tilde{D}$上的鲁棒训练可以推广到训练数据分布。因此，为了提高对D的鲁棒性，用来自$\tilde{D}的样本来增强原始训练集。使用以下对抗性训练公式：

目标是提高训练数据分布的经认证的鲁棒性(D)。使用随机平滑(Cohen等人，2019)来证明鲁棒性，因为它提供了比替代技术更好的性能和可扩展性(Wong等人，2018;Zhang et al.， 2020)。在对抗训练中的修改类似，建议对来自代理分布($\tilde{D}$)和原始训练数据分布(D)的样本进行训练。

其中 γ ∈ [0, 1], $L_{smooth}(\theta ,x,y)=l(\theta ,x,y)+\beta D_{kl}(f_{\theta }(x),f_{\theta }(x+\delta )),\delta \sim N(0,{\sigma }^{2}I)$ , 并且 $D_{kl}(.,.)是KL$散度。

3 Discussion and Future work

使用合成数据使深度神经网络对对抗性攻击更加稳健。 然而，合成数据是从代理分布中采样的，即仅近似于训练数据的基础数据分布的分布。 因此，第一个关键问题是合成数据是否有助于提高稳健性。 本文研究了从代理到原始训练数据分布的稳健性转移，并提供了一个严格的上限。 这一结果证实训练数据分布非常接近的代理分布应该能够提高鲁棒性。在为代理分布选择生成模型时，本文认为在其进程中存在一个拐点，之后生成模型充分捕获数据模式，从而生成逼真和多样化的样本集。超过拐点胡样本能提升性能。

由于本文的主要目标是展示合成数据的有效性，因此没有使用额外的技术来提高稳健性。 未来的工作可以结合这些技术，例如使用权重扰动、权重平均、更长的训练计划和更大的网络，以及合成数据，以进一步提高鲁棒性。