论文笔记 ||《Robust Contrastive Learning against Noisy Views》

《Robust Contrastive Learning against Noisy Views》

论文链接：Robust Contrastive Learning against Noisy Views

1 动机

对比学习依赖于假设：即正样本包含相关的视图，共享一个实例的某些基本信息，例如图像的图块或视频的共同多模式信号。但如果这个假设被打破会怎样？文献表明在存噪声视图的情况下，例如没有明显共享信息的假正对（false positive pairs），对比学习会产生次优的表示。
在本文中，作者提出了一种新的对噪声视图具有鲁棒性对比损失函数。通过将InfoNCE与噪声二分类的对称性损失相联系，建立了基于Wasserstein距离度量的互信息最大化的新对比界限，并提供了严格的理论证明。所提出的损失函数完全与模态无关，是InfoNCE损失的简单替代品，易于应用于现有的对比框架。作者在各种真实世界噪声模式的图像、视频和图对比学习基准上持续改进，获得了sota性能。

2 背景及贡献

对比学习是自监督学习中最常用的方法，而设计正确的对比视图是对比学习方法核心，其常常需要领域知识、直觉以及不断尝试。然而如果错误的选择（构造）视图，不提供有意义的共享信息情况下将会产生什么后果呢？

在本文中作者认为，上述过程产生的噪声视图在对比学习的各应用场景中会造成严重的后果。此外噪声视图问题核心在于：即使这些噪声视图之间不存在有意义的共享信息，它们仍然要被迫对齐。

现有的工作针对noise view设计niose-tolerant（噪声容忍）方法。然而这些方法大多针对特定的数据类型，所做的假设可能不适用一般场景。

在这项工作中作者提出了一种满足对称条件的对比损失函数：Robust InfoNCE，在其所提出的损失函数中Wassertein distance作为互信息的下界。

创新点：

• 作者设计了一种新的对比损失函数Robust InfoNCE，主要用于against 数据中的noise view。
• 作者进行了理论分析，将提出的损失函数与对称损失和依赖性测量联系起来。
• 作者在多种类型的数据上进行了验证。

3 技术方法

3.1 Symmetric Losses for Noise Lable

作者首先说明了对称损失函数在二分类中对noisy labels具有鲁棒性。假设存在一个数据分布$\mathcal{D}$， S = { x i , y i } i = 1 m \mathcal S=\{x_i,y_i\}^m_{i=1} S={xi​,yi​}i=1m​表示从分布$\mathcal{D}$中抽取的未观测到的干净数据，而 S η = { x i , y ^ i } \mathcal S_{\eta} =\{x_i,\hat y_i\} Sη​={xi​,y^​i​}中，${\hat{y}}_i$为正确标签$y_i$的概率为$\eta$。对于一个分类器$f\in \mathcal{F}:\mathcal{X}\to \mathbb{R}$，在无噪声的场景下期望风险为：$R_l(f)={\mathbb{E}}_{\mathcal{D}}[l(f(x),y)]$，其中$l$是二分类损失函数。当存在噪声时，优化的目标函数为：
$$R_l^{\eta }={\mathbb{E}}_{D_{\eta }}[l(f(x),\hat{y})](1)$$
现有的工作证明对称损失函数在二分类任务中对于noise label具有鲁棒性。若损失函数之和为常数，则该损失函数满足对称性：
$$l(s,1)+(s,-1)=c,\forall s\in \mathbb{R}(2)$$
$s$是函数$f$的预测分数。作者指出对称条件不仅在主要变量上成立，还应在它们相对于某个变量（用 ‘s’ 表示）的梯度上成立。

3.2 Towards Symmetric Contrastive Objectives

上述的结果表明：如果对比学习目标在二分类框架下，能够表达为满足对称条件的形式，可实现对于噪声视图的鲁棒性。因此作者首先将对比学习同二分类联系起来，最后将其表达为二分类的形式。

Contrastive learning as binary classification
给定两个视图X和V，$(x,v)$是从联合分布中采样而来则标记为1，即：$(x,u)\sim P_{XY}$。若$(x,u)$来自边缘乘积则标记为-1，即$(x,v^{\prime })\sim P_X{P}_Y$。在数据中存在nosie view的情况下，负样本对$(x,v^{\prime })$可能会被错误的标记为正样本，从而引入nosie label。
InfoNCE是最常用的对比损失函数，其形式如下：
$${\mathcal{L}}_{InfoNCE}(s)=-\mathrm{l}\mathrm{o}\mathrm{g}\frac{e^{s^{+}}}{e^s+{\sum }_{i=1}^k{e}^{s_i^{-}}}(3)$$
上述公式中$s^{+}$、$s^{-}$分别表示正样本对和负样本的得分。上述（3）中损失函数的期望是基于正样本对$(x,y)\sim P_{XV}$和K个从$v_i\sim P_V$中采样得到的独立样本上进行的。虽然InfoNCE形式上看起来是（K+1）个softmax 交叉熵损失，但其最终目的是通过最大化/最小化正样本得分$s^{+}$/负样本得分$s^{-}$来分类样本对$(x,v)$，是正样本还是负样本对。因此，在存在噪声视图的情况下，InfoNCE可以被视为带噪声标签的二分类任务。

Symmetric form of contrastive learning
假设存在一个噪声容忍函数$l$满足公式（2）中的对称条件，则当对比学习损失函数满足下式时称其具有对称性：
$$\mathcal{L}(\mathbf{s})=\underset{PostitivePair}{\underbrace{l(s^{+},1)}}+\lambda \sum _{i=1}^{k}l(s^{-},-1)(4)$$
$\lambda$是权重参数。文献[1]给对比损失函数满足对称性情况下，对噪声视图具有较强的鲁棒性提供了理论支持。同时作者指出InfoNCE不满足对$s^{+}/s^{-}$梯度中的对称条件。因此基于此作者提出了满足对称条件的对比损失函数。

4 Robust InfoNEC Loss

文中所提出RINCE形式如下：
$${\mathcal{L}}_{RINCE}^{\lambda ,q}(\mathbf{s})=\frac{-e^{q\cdot s^{+}}}{q}+\frac{\lambda \cdot (e^{s^{+}}+{\sum }_{i=1}^K{e}^{s_i^{-}}{)}^q}{q}(5)$$
其中$q,\lambda \in (0,1]$

给定损失函数$l(s,y)=-y{e}^s$，当 q=1时，RINCE完全满足(3)中的对称性，即：
$${\mathcal{L}}_{RINCE}^{\lambda ,q}(\mathbf{s})=-(1-\lambda )e^{s^{+}}+\lambda \sum _{i=1}^K{e}^{s^{-}}$$
值得注意的是给定损失函数$l(x,y)=-y{e}^s$满足（2）式中的对称性，此时$c=0$。文中q值的变化对RINCE影响有如下结论：
1）当q趋于1时，RINCE对噪声视图具有鲁棒性。
2）当q趋于0时，RINCE逐渐趋近于InfoNCE。
说明当$q\to 0$时：
$$\begin{gathered} \underset{q\to 0}{\lim }{\mathcal{L}}_{RINCE}^{\lambda ,q}(\mathbf{s})={\mathcal{L}}_{InfoNCE}+\mathrm{l}\mathrm{o}\mathrm{g}\lambda ; \\ \underset{q\to 0}{\lim }\frac{\partial }{\partial \mathbf{s}}{\mathcal{L}}_{RINCE}^{\lambda ,q}(\mathbf{s})=\frac{\partial }{\partial \mathbf{s}}{\mathcal{L}}_{InfoNCE}(\mathbf{s}) \end{gathered}$$
上述收敛性也适用于导数，在q趋于0的极限情况下，对RINCE的优化在数学上等同于优化InfoNCE。

4.1 Intuition behind RINCE

本节中，作者通过探究不同q值下RINCE梯度变化，来展示RINCE对易/难样本的挖掘程度，其可视化如下图所示。通过实验可知使用较大的q值可以实现更强的鲁棒性。

从上图（a）可以得出结论当正样本得分越大，负样本得分越小，损失越小。图（b）中展示了梯度的变化，当$q\to 0$时InfoNCE更加强调难正样本（hard-positive），即具有正分数的$s^{+}$的样本对。相对于的$q\to 1$时完全对称RINCE强调于易正样本对（easy-positive）。在实际的应用中，$q\in [0.1,0.5]$用于balance健壮性与收敛性。

4.2 Theoretical Underpinnings

本节中作者提供证明了为什么RINCE对噪声视图具有健壮性。其核心在RINCE中使用Wasserstein dependency measure作为互信息的下界，与比Kullback-Leibler（KL）散度相比，由于其Wassertein距离的强集合特性，使得WDM在抗样本噪声方面具有更强的鲁棒性。

4.2.1 KL散度在互信息中的局限性

众所周知InfoNCE在表征空间中是互信息的变体下界，以KL散度来表示：
$$\begin{gathered} -\mathbb{E}[{\mathcal{L}}_{InfoNCE}((s))]+\mathrm{l}\mathrm{o}\mathrm{g}(K)\le I(\varphi (X),\varphi (V)) \\ =D_{KL}(P_{XY}^{\varphi },P_X^{\varphi }{P}_V^{\varphi }) \end{gathered}$$
直观上说，最大化互信息可以被解释为最大化正样本对于负样本对之间的差异。而现有的工作表明使用KL散度来最大化互信息存在局限性，即：KL散度不是一个度量标准，它对数据样本的微小差异非常敏感，不论基础数据分布的几何形状如何。因此编码器$\varphi$只需要从共享的X和Y中捕捉一些信息便可以最大化KL散度。

4.2.2 RINCE is a lower-bound of WDM

WDM基于Wasserstein距离，这是一种通过最优传输成本定义的概率分布之间的距离度量标准，即：讲一个分布P转换为分布Q所需要的最小代价。假设μ和ν是两个概率测度（probability measures），定义带有欧几里德成本函数的Wasserstein-1距离如下：

其中$\prod (\mu ,v)$表示边缘分别为$\mu$和$v$的测试耦合集。当q=1时根据对偶性可得：
$$\begin{gathered} -\mathbb{E}[{\mathcal{L}}_R^{\lambda ,q=1}NCE(s)]\le L\cdot I_{\mathcal{W}}(\varphi (X),\varphi (Y)) \\ :=L\cdot \mathcal{W}(P_{XV}^{\varphi },P_V^{\varphi }{P}_Y^{\varphi }) \end{gathered}$$
上述方法为RINCE具有对noise view有鲁棒性提供了另一个的解释。与最大化KL散度的InfoNCE不同，优化RINCE等价于最大化带有Lipschitz函数的WDM（Wasserstein Dependency Measure）。搭配合适的度量标准，这允许RINCE测量两个分布P(XV)和P(XP|V)之间的差异，而不会对个别样本的噪声过于敏感，只要这些噪声不改变分布的几何特性。这也使编码器$\varphi$能够学习更完整的表示，因为最大化Wasserstein距离要求编码器不仅要建模两个分布之间的密度比，还要建模将一个分布运输到另一个分布的最优成本。

5 实验

详情请参考论文

6 结论

本文作者提出对比学习里出现noise view时会造成次优的表证，提出设计了新的Robust InfoNCE，以提高模型对noise view的鲁棒性，其核心是用Wassertein Dependency Measure来作为互信息的对比下界，并提供了相应的理分析，证明了WDM对noise view的鲁棒性。