论文阅读：Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss

Author:Jeff Z. HaoChen,Colin Wei, Tengyu Ma et.al.
Arxiv: 2106.04156
Stanford University
待写部分为泛化性和误差边界的理论分析

Abstract

最近的自监督学习方面的工作主要依赖对比学习范式：该范式通过正样本对来学习表征，同时保持负对距离很远。尽管经验上取得了成功，但理论基础是有限的——假设正样本对的条件独立，而实际中是高度相关的（即，相同图像的Augmentation）。本工作分析了对比学习，且不需要假设条件独立，使用一个新的概念的增强图（Augmentation graph）。这个图中的边连接了相同数据点的Augmentation，而这些来自增强样本的groud-truth自然地形成了连接的子图。在增强图上执行谱分解的损失可以简洁地等价为神经网络表示上的对比学习目标。最小化这一目标会导致在线性评估下具有可证明的精度保证的特征。

1. Introduction

计算机视觉中的自监督信号通常是通过使用数据增强来产生同一图像的多个视图来定义的，鼓励比随机抽样数据点的增强视图对更紧凑的表示。尽管取得了经验上的成功，但对于为什么自监督学习到的表征可以适应下游任务（如使用线性头）的理论理解有限。最近对比学习的数学分析提供了一个假设，即标签或隐藏变量在某种程度上是有条件独立的。然而，在实际应用来中，来自同一图像的两种增强视图表现出很强的相关性，它们不是独立于标签的。因此，现有的理论似乎并不能解释自监督学习的成功。

本文提出了一个不需要条件独立性假设的理论框架。我们设计了一个有原则的，实际的损失函数来学习神经网络表示，它类似于最先进的对比学习方法。我们所利用的是在同一个类中的总体数据的连续性的概念。虽然来自同一类的随机图像对可能相距很远，但这对图像通常由（许多）自然图像序列连接，其中序列中的连续图像是同一类中的近邻。如图1所示，两只非常不同的法国斗牛犬可以通过一系列法国斗牛犬连接起来（它们可能不在训练集中，但支持种群分布）。之前的工作（Wei et al.，2020）通过经验证明了这种类型的连通性特性，并将其用于伪标记算法的分析。当一个示例的邻域包含许多不同类型的增强时，这个属性就更加显著。

图1（1）：如果两个增强数据是同一自然数据点的视图，则会连接它们。在下游任务中，来自不同类的数据增强被假定是几乎断开的，而在同一个类中有更多的连接。我们允许在一个与潜在的子类对应的类中存在不连通的子图。

更正式地，我们定义了population augmentation graph，其顶点都是族群分布中所有的增广样本。如果两个顶点是同一张图像的增广，则它们有一条edge相连。我们的主要假设是，对于一些适当的$m\in {\mathcal{Z}}^{+}$，我们不能将图划分为互相有很少连接的$m+1$个子图。换句话说，这直观地说明了在population augmentation graph中最多有$m$个类簇。这个假设可以看作是关于族群分布的连续性假设的一个图论版本。我们还假设在不同的ground-truth类中只有很少的边连接。图1说明了一个现实的场景，其中狗和猫是真实的类别，它们之间几乎没有edge。每个细粒度类形成一个子图，有足够的内部连通性。

上述假设从不需要基于类的正样本对的独立性，并且可以允许类内断开的子图。下游任务中的类也可以更加灵活，只要它们在augmentation graph中断开连接。例如，当augmentation graph由$m$个对应于细粒度类的不连通子图组成时，我们的假设允许下游任务将$r\le m$个(包含这些细粒度类的) 粗粒度类作为子分区。之前关于伪标记算法的工作（Wei et al.，2020）基本上需要子图和下游类（即r = m）之间的精确对齐。他们面临着这一限制，因为他们的分析需要在未标记的数据上拟合离散的伪标签。我们避免了这个困难，因为我们考虑直接学习未标记数据上的连续表示。

本文的主要观点是，对比学习可以看作是谱聚类的一种参数化形式。具体地说，假设我们将谱分解或谱聚类用在上定义的邻接矩阵。我们形成一个top-k个特征向量作为列的矩阵，并将矩阵的每一行解释为一个样本的表示（在${\mathbb{R}}^k$中）。有些令人惊讶的是，我们证明了这个特征提取器也可以通过最小化以下总体目标来恢复（直到一些线性变换），这是标准对比损失的一个变体：
$$\mathcal{L}(f)=-2\cdot {\mathbb{E}}_{x,x^{+}}[f(x{)}^{\top }f(x^{+})]+{\mathbb{E}}_{x,x^{-}}[{\left(f(x{)}^{\top }f(x^{-})\right)}^2]$$

其中$x,x^{+}$是同一数据点的一对增广，（x，x−）是一对独立的随机增广数据，f是从增广数据到${\mathbb{R}}^k$空间的参数化映射。下图说明了特征向量矩阵和学习到的表示之间的关系。我们称之为种群谱对比损失population spectral contrastive loss。

图1（2）：对学习到的表征的分解。通过最小化族群谱对比损失学习到的表示（右式的行）可以分解为左式。标量$s_{x_i}$对于每个增强的数据点$x_i$都为正。标记为“特征向量”的矩阵的列是增强图的归一化邻接矩阵的top特征向量。将每个$s_{x_i}$与特征向量矩阵的第$x$行相乘。当类（或子类）在增强图中完全断开时，特征向量是稀疏的，并与子类结构对齐。可逆Q矩阵不影响下游线性评估的性能。

我们的主要结果（定理3.8）表明，当表征维数超过不连通子图的最大数量时，具有学习表示的线性分类保证有一个较小的误差。我们的定理揭示了一个趋势，即当有更多的不连通子图时，需要更大的表示维数。我们的分析依赖于针对线性评估性能的新技术，据我们所知，在谱图理论界尚未对其进行过研究。

谱对比损失也适用于经验数据。我们的方法优化参数化损失函数，因此可以使用现成的泛化边界转换为有限的样本结果。端到端结果（定理4.3）表明，下游标记的样本数量只需要在表示维度（亦即子图总数）上是线性的。这表明对比学习减少了所需的标记例子的数量。

1.1 Contribution

1. 受谱分解启发，我们基于族群增强图提出谱对比损失，学习到的表征提供了下游分类保证。
2. 我们的分析很容易通过现成的泛化边界适用于具有多项式无标记样本的深度网络。我们的理论框架可以看作是包含两个阶段：我们首先分析使损失最小化的表征，然后研究经验损失，该表征是用一个有界容量的神经网络学习的。
3. 我们在标准视觉基准数据集上实现并测试了所提出的谱对比损失。我们的算法很简单，并且不依赖于停止梯度等技巧。

2. Related empirical work

自我监督学习算法已被证明能够成功学习表示有利于下游任务。许多最近的自监督学习算法：

1. 通过暹罗网络学习特征，其中两个共享权值的神经网络被应用于增广数据对。
2. 在暹罗网络中引入不对称性或使用BYOL，或对SimSiam等暹罗网络的一个分支使用stop gradient，已被证明可以有效地避免特征坍缩。
3. 对比方法将InfoNCE损失最小化，即对相同数据的两个视图被吸引，而来自不同数据的视图被拒绝。

3. Spectral contrastive learning on population data

3.1 notation

$\overline{\mathcal{X}}$来表示所有原始数据的集合。假设$\overline{x}\in \overline{\mathcal{X}}$属于r个类中的一个，$y：\overline{\mathcal{X}}\to [r]$表示gound-truth标记函数。设${\mathcal{P}}_{\overline{\mathcal{X}}}$是$\overline{\mathcal{X}}$上的总体分布，我们从中提取训练数据并测试我们的最终性能。

对于给定$\overline{x}\in \overline{\mathcal{X}}$， 我们用$\mathcal{A}(\cdot |\overline{x})$表示它的增广样本分布。于是，$\mathcal{X}$来表示所有增广数据的集合，他也是所有$\mathcal{A}(\cdot |\overline{x})$支撑集的并集。

我们假设$\overline{\mathcal{X}}$和$\mathcal{X}$都是有限但指数级大的集合（如，所有${\mathbb{R}}^d$中的实向量具有有界精度）。我们的理论分析不依赖数据集的大小，但这允许我们使用累和而不是积分。

我们学习特征映射函数$f:\mathcal{X}\to {\mathbb{R}}^k$, 然后通过使用线性分类器来评估其质量。线性分类器的权值$B\in {\mathbb{R}}^{k\times r}$，则预测结果为：$g_{f,B}(x)=\arg {\max }_{i\in [r]}(f(x{)}^{\top }B{)}_i$。然后，给定一个原始数据样本$\overline{\mathcal{X}}$，我们对增强数据的预测进行集成，并预测：

表征和线性头的误差为：

将线性误差定义为该表征可能的最佳线性分类器的误差：

3.2 Augmentation graph and spectral decomposition

我们用增广样本构成的$G(\mathcal{X},w)$表示增强图，$w$为定义的边权值。对于任意两个增强数据$x,x^{\prime }\in \mathcal{X}$，将权重$w_{x{x}^{\prime }}$定义为从随机原始数据$\overline{x}$生成$x,x^{\prime }$的边际概率：

因此，权重之和为1。相对幅度直观地捕捉到了$x,x^{\prime }$的增广变换之间的接近程度。对于大多数不相关的$x,x^{\prime }$，$w_{x{x}^{\prime }}$的值将显著小于平均值。例如，当$x$和$x^{\prime }$分别是猫和狗的随机增广时，$w_{x{x}^{\prime }}$基本上是零，因为没有哪个自然数据可以$\overline{x}$同时增强到$x$和$x^{\prime }$。反之$w_{x{x}^{\prime }}$则是非零的，我们说$x$和$x^{\prime }$有一条边连接。

3.3 一个具有高斯扰动的简化例子。

假设原始数据的支撑流形在欧几里得空间，且数据增广添加的随机噪声采样$\mathcal{N}(0，{\sigma }^2\cdot I_{d\times d})$的量级远小于原始数据。那么两个增强数据点之间的边的权重接近于零，除非两个数据点的${\ell }_2$距离小。因此，所得到的图本质上是欧几里得空间中的$ϵ-ball$图。

我们将把特征分解应用于 population augmentation graph，然后使用线性分类。记$w_x={\sum }_{x^{\prime }\in \mathcal{X}}{w}_{x{x}^{\prime }}$是与$x$相关的总权值，这通常被视为加权图中$x$的度的模拟。谱图理论中的一个中心对象是归一化邻接矩阵：

其中，邻接矩阵的元素为$A_{x{x}^{\prime }}=w_{x{x}^{\prime }}$，度矩阵的对角元素$D_{xx}=w_x$。

3.4 From spectral decomposition to spectral contrastive learning

我们将把特征向量矩阵$F^{\ast }$的行参数化为一个神经网络函数，并假设嵌入$u_x^{\ast }$可以用$f(x)\in \mathcal{F}$表示，其中$\mathcal{F}$是包含神经网络的假设类。这允许我们利用神经网络的外推能力，并学习在有限数据集上的表示。
我们采用以下基于矩阵分解的特征向量目标：

根据经典理论低秩近似，任何最小化${\mathcal{L}}_{mf}$得到的$\hat{F}$包含$\overline{A}$的最大特征向量缩放到正确$F^{\ast }$的变换——对于一些标准正交矩阵$R\in {\mathbb{R}}^{k\times k}$，我们有$\hat{F}=F^{\ast }\cdot diag([\sqrt{{\gamma }_1}，\dots ，\sqrt{{\gamma }_k}])\cdot R$。幸运的是，将嵌入矩阵乘以右边的任何矩阵和左边的对角矩阵不会改变其线性分类性能，因为线性估计输出的每个维度都被同等地缩放因而不改变$\arg \max$的结果。

注意到$u_x$是$F$的行，$F{F}^{\top }$的每个元素为$u_x^{\top }{u}_x$，因此${\mathcal{L}}_{mf}$可以分解成$N^2$个$u_x^{\top }{u}_x$之和。有趣的是，如果我们用${\sqrt{w}}_{x}f(x)$重参数化每行$u_x$，我们将得到一个非常相似的f损失函数，它类似于实践中使用的对比学习损失，如下引理所示。

Lemma 3.2 (spectral contrasitive loss)
损失函数${\mathcal{L}}_{mf}$等价于一个特殊的对比学习损失$\mathcal{L}$和一个加性常数:
Proof of Lemma 3.2
${\mathcal{L}}_{mf}$可以写成：

第一项是一个常数，它只依赖于图而不是网络$f$。根据增广图的定义，$w_{x{x}^{\prime }}$是随机增广$x$和$x^{\prime }$为正样本对的概率，而$w_x$是随机增广数据点为$x$的概率。因此，我们可以将方程中最后两项的和重写为引理中的${\mathbb{E}}_{x,x^{+}}$和${\mathbb{E}}_{x,x^{-}}$。

谱对比损失与许多流行的对比损失相似。例如，SimCLR中的对比损失可以使用简单的代数操作重写为：

谱对比损失具有与SimCLR相似的经验性能，而不需要大批量的批处理。

3.5 Theoretical guarantees for spectral contrastive loss on population data

为了使$G$不能被划分为太多的不连通子图的思想形式化，我们引入了狄利克雷电导 (Dirichlet conductance) 和最稀疏m划分 (sparsest $m$-partition) 的概念，这是谱图理论中的标准概念。Dirichlet conductance表示从$S$到其补集的边的比例：

Definition 3.3 (Dirichlet conductance)
For graph $G=(X,w)$ and a subset $S\subseteq \mathcal{X}$ , we define the Dirichlet conductance of $S$ as:
$\square$
当$S$是单例时，根据$w_x$的定义有${\varphi }_G(S)=1$。对于$i\in \mathbb{Z}+$，我们引入sparsest $m$-partition来表示$i$个不相交子集之间的边数。

Definition 3.4 (sparsest $i$-partition)
For $G=(X,w)$ and integer $i\in [2,|X|]$, we define the sparsest i-partition as:

where $S_1,\cdots ,S_i$ are non-empty sets that form a partition of $\mathcal{X}$. $\square$

我们注意到${\rho }_i$随着$i$的增加而增大。当r是基本类的数量时，我们可能期望${\rho }_r\approx 0$，因为来自不同类的增广几乎组成了一个不相交的rway分区。然而，对于$i>r$，我们可以期望${\rho }_i$会大得多。例如，在极端情况下，当$i=|X|=N$时，每个集合$S_j$都是一个单例，这意味着${\rho }_N=1$。更一般地说，当$i$大于数据中底层语义类的数量时，ρi可以期望在数据维数上至少是逆多项式。

Assumption 3.5 (at most $m$ clusters).
我们假设${\rho }_{m+1}\ge \rho$。一个典型的情况是，在增强图中最多有$m$个簇，每个簇都不能被分成两个狄利克雷电导都小于$\rho$的子集。$\square$

当有m个类簇有足够的内部连接时，我们期望${\rho }_{m+1}$比${\rho }_m$大得多，因为任何$m+1$分区都需要将一个子图额外分解成两部分并产生很大的狄利克雷电导。换句话说，假设图由$m$个类簇组成，$\rho$描述了每个类簇内部连接的程度。实际上，我们将通过增强强度和亚种群分布的Cheeger常数（命题3.9）的乘积来正式降低${\rho }_{m+1}$。

上述假设也暗示了图谱的性质。${\gamma }_i$是归一化邻接矩阵$A$和$\gamma 1=1$的第i个最大特征值。根据Cheeger不等式，${\gamma }_{2m}\le 1-\Omega ({\rho }^2/\log m)$，这表明${\gamma }_1$和${\gamma }_{2m}$之间存在差距，这在我们的分析中很有用。

Assumption 3.6（标签可从其增广中恢复）
给定$\overline{x}\in {\mathcal{P}}_{\overline{\mathcal{X}}}$和它的标签$y(\overline{x})$。增广样本$x\sim \mathcal{A}(\cdot |\overline{x})$。我们假设存在一个分类器$g$，它可以预测给定的$g(x)=y(\overline{x})$的误差最多为$\alpha$。即正确概率至少为$1-\alpha$。 $\square$

假设3.6中的一个小的$\alpha$意味着不同的类是分离的的，因为来自不同类的数据只有很少个（最多O(α)）共享数据增强。或者，我们可以将这个假设视为假设增强图可以划分为$r$个簇，每个簇对应于一个类的增强，并且在簇中最多有O(α)边。这通常是正确的真实世界图像数据像ImageNet，因为任何两个图像从不同的类（例如，哈士奇和伯曼猫），使用典型的数据增广只能以指数的小概率$\alpha$得到相同的增强图像。

通常，Assumption 3.5 中的$\rho$和Assumption 3.6中的$\alpha$都是远小于1的正值。然而，$\rho$可以比$\alpha$大得多。回想一下，$\rho$在维数上至少是反多项式。相比之下，$\alpha$描述了类之间的分离，在典型情况下预计呈指数级小。例如，在使用高斯扰动增广的简单例子中，如果$\sigma \sqrt{d}$小于两个亚种群之间的最小距离，我们很少可以将来自不同亚种群的两个数据点增强为共享增强，因此α预计呈指数小。我们下面的分析是在ρ2大于α的合理状态下运行的，这直观地意味着集群内的内部连接大于集群之间的分离。我们还引入了以下假设，即假设类可以实现族群谱对比损失的最小化。

Assumption 3.7（假设类的表达性）。令$\mathcal{F}$是一个包含从$\mathcal{X}$到${\mathbb{R}}^k$所有函数的假设类。我们假设$\mathcal{L}(f)$的全局最小值中至少有一个属于$\mathcal{F}$。

我们的主要定理依据上述最小化谱对比损失学习到特征的线性分类误差。在之后的定理中，我们将这个结果扩展到特征和线性头部都是从经验数据集中学习的情况。

Theorem 3.8（主要定理）。假设表征维数$k\ge 2r$且Assumption 3.6适用于$\alpha >0$。设$\mathcal{F}$是一个满足Assumption 3.7的假设类，$f_{pop}^{\ast }={\min }_f\mathcal{L}(f)$。有:

对于Assumption 3.5中$k>2m$，有
$\square$

这里我们使用$\mathcal{O}(\cdot )$来隐藏$k$中的通用常数因子和对数因子。我们注意到，当来自不同类的增强在增强图中完全断开时，$\alpha =0$，在这种情况下，上述定理保证了ground-truth的精确恢复。我们期望$\alpha$是一个非常（指数）小的、独立于$k$的常数，而${\rho }_{k/2}$随着$k$增加，当k相当大时，至少可以是逆多项式，因此比$\sqrt{\alpha }$大得多。我们将在下一小节中描述更具体分布上${\rho }_k$的增长。当$k>2m$时，$\alpha <<{\rho }^2\le {\rho }_{m+1}^2$，因此误差$\alpha /{\rho }^2$足够小。

4. 待写

5. 待写

6. Experiment

6.1 Pseudo-code

注：常数项不需要优化，对于当前点$x$，随机在mini batch中找到来自同意原始数据另一个增广点的期望为$1/N$，在2N个增广样本中随机增广到当前点$x$的期望$\frac{1}{N(N-1)}$

6.2 Architecture

Encoder. 编码器f包含三个组成部分：

1. Backbone是标准的ResNet-18 （CIFAR10/100）和ResNet-50（TinyImageNet & ImageNet）。
2. Projection head是隐藏层和输出维度都为1000的2层MLP（CIFAR10/100）和隐藏和输出维度为8192的3层MLP（TinyImageNet & ImageNet），每一层都应用BatchNorm，除最后一层外，每一层都用ReLU激活。
3. 投影函数取一个向量并将其投影到一个半径为$\sqrt{\mu }$的球面上，其中µ>0是我们在实验中调整的超参数。我们发现投影函数可以提高性能。一般设置$\mu \in 1,3,10$，如以下消融实验所示：
   

Linear evaluation. 用得到的表征训练一个有监督的线性分类器，这些冻结的特征来自ResNet的全局平均池化层。

6.3 Results

我们在表1中报告了CIFAR-10/100和TinyImageNet的准确性。我们的算法比以前的方法更有原则，不依赖大批量或额外的技巧如stop-gradient。