Contrastive Representation Learning 对比表征学习 (一) 对比训练目标

对比表征学习

对比表征学习的目标是去学习一种嵌入空间（embedding space），在该空间中，具有潜在相似性的样本对彼此相距较近，而不够相似的样本对彼此疏远。对比学习可以被应用于监督与无监督相关任务中。对于涉及到无监督数据的工作，对比学习是自监督学习研究中最有效的方法之一。

对比学习的训练目标

早期用于对比学习的损失函数，只涉及到一个正样本和一个负样本。最近对于训练目标的设计趋势是在一个训练batch中包含多个正负样本对。

对比损失

对比损失是最早用于深度度量学习的训练目标函数之一。

已知一组输入样本 { x i } \{x_{i}\} {xi​}，每个样本都有一个对应的类别标签 y i ∈ { 1 , … , L } y_i\in\{1,\dots,L\} yi​∈{1,…,L}，类别范围为$L$个类内。我们希望学习一个函数$f_{\theta }(.):\chi \to {\mathbb{R}}^d$，该函数将$x_i$编码为嵌入向量（embedding vector），以使得来自相同类别的样本具有相似的嵌入形式（embedding），而来自不同类别的样本其形式尽可能不同。因此，对比损失获取一对输入$(x_i,x_j)$，当两者属于相同类别时最小化嵌入距离，否则便最大化。

$L_{cont}(x_i,x_j,\theta )=1[y_i=y_j]||f_{\theta }(x_i)-f_{\theta }(x_j)|{|}_2^2+1[y_i\ne y_j]max(0,ϵ-||f_{\theta }(x_i)-f_{\theta }(x_j)|{|}_2{)}^2$

其中$ϵ$是超参数，它定义了不同类的样本之间的下限距离。$1$为指示函数。

三重损失（Triplet loss）

三重损失最初来源于FaceNet (Schroff et al. 2015)，作者将其用于学习不同姿态与角度下相同行人的面部。

给定一锚点输入（anchor input）$x$，我们选择一个正样本$x^{+}$和一个负样本$x^{-}$，$x^{+}$表示其与$x$属于同一类，$x^{-}$表示属于其他类的样本。三重损失使用以下损失函数来同时学习最小化$x$与$x^{+}$的距离并最大化$x$与$x^{-}$的距离：

$L_{triplet}(x,x^{+},x^{-})={\sum }_{x\in \chi }max(0,||f(x)-f(x^{+})|{|}_2^2-||f(x)-f(x^{-})|{|}_2^2+ϵ)$

其中参数$ϵ$表示相似样本对与不相似样本对之间距离的最小偏移。
要想提升模型性能，选择一个合适的负样本$x^{-}$非常重要。

提升结构损失（Lifted Structured Loss）

该损失函数（Song et al. 2015）利用了一个训练batch内的所有样本对之间的相关关系，获得了更好的计算效率。

定义$D_{ij}=|f(x_i)-f(x_j){|}_2$，那么结构化的损失函数可被定义为：
$L_{struct}=\frac{1}{2|P|}{\sum }_{(i,j)\in P}max(0,L_{struct}^{(ij)}{)}^2$
where $L_{struct}^{(ij)}=D_{ij}+max(ma{x}_{(i,k)\in N}ϵ-D_{ik},ma{x}_{(j,l)\in N}ϵ-D_{jl})$
其中$P$为正样本对的集合，$N$为负样本对的集合。稠密样本对平方距离矩阵$D$的计算可以分解在每个训练batch之中。

$红色$部分是用于挖掘难于分类的负样本（hard negatives）。但是其不够光滑，可能造成收敛到一个较差的局部最优。因此，可修改为：
$L_{struct}=D_{ij}+log({\sum }_{(i,k)\in N}exp(ϵ-D_{ik})+{\sum }_{(j,l)\in N}exp(ϵ-D_{jl}))$

该论文还提出给定几个随机正样本对，通过主动加入复杂负样本来增强每个batch负样本的质量。

N-pair Loss

Multi-Class N-pair loss (Sohn 2016)对triplet loss进行泛化，其包含了与多个负样本的比较。

给定一个长$(N+1)$的训练样本元组，$x,x^{+},x_1^{-},...,x_{N-1}^{-}$，该元组包含一个正样本和$N-1$个负样本，N-pair loss定义为：

L N − p a i r ( x , x + , { x i − } i = 1 N − 1 ) = l o g ( 1 + ∑ i = 1 N − 1 e x p ( f ( x ) T f ( x i − ) − f ( x ) T f ( x + ) ) ) L_{N-pair}(x,x^+,\{x_i^-\}_{i=1}^{N-1})=log(1+\sum_{i=1}^{N-1}exp(f(x)^Tf(x_i^-)-f(x)^Tf(x^+))) LN−pair​(x,x+,{xi−​}i=1N−1​)=log(1+∑i=1N−1​exp(f(x)Tf(xi−​)−f(x)Tf(x+)))

$=-log\frac{exp(f(x{)}^{T}f(x^{+}))}{exp(f(x{)}^{T}f(x^{+}))+{\sum }_{i=1}^{N-1}exp(f(x{)}^{T}f(x_i^{-}))}$

如果我们对每个类别只采样一个负样本，它就等价于多类别分类的softmax损失。

NCE

Noise Contrastive Estimation， 简称NCE，是一种用于估计统计模型参数的模型。该模型由Gutmann 和 Hyvarinen于2010年提出。其思想是通过逻辑回归来区分噪声和目标数据。了解更多

令$x$为目标样本$\sim P(x|C=1;\theta )=p_{\theta }(x)$,并令$\tilde{x}$为噪声样本$\sim P(\tilde{x}|C=0)=q(\tilde{x})$。
注意这里是从目标数据分布中对样本以逻辑回归形式建模，不是从噪声分布中建模：

$l_{\theta }(u)=log\frac{p_{\theta }(u)}{q(u)}=log{p}_{\theta }(u)-logq(u)$

使用sigmoid函数将其转为概率，便可使用交叉熵进行优化：

$L_{NCE}=-\frac{1}{N}{\sum }_{i=1}^N[log\sigma (l_{\theta }(x_i))+log(1-\sigma (l_{\theta }({\tilde{x}}_i)))]$

where $\sigma (l)=\frac{1}{1+exp(-l)}=\frac{p_{\theta }}{p_{\theta }+q}$

这里给出NCE loss 的原始部分是因为后续的改进也是将单正负样本改为单正样本多负样本。

InfoNCE

InfoNCE loss受NCE启发，其使用分类交叉熵损失从一组不相关的噪声样本中识别出正样本。

给定一个上下文向量$c$，那么正样本可从条件分布$p(x|c)$中抽取出来，同时，可从$p(x)$中抽取出$N-1$个负样本，其中负样本独立于上下文向量$c$。简单来讲，我们将所有样本标注为 X = { x i } i = 1 N X=\{x_i\}_{i=1}^N X={xi​}i=1N​，其中只存在一个正样本$x_{pos}$。那么我们正确找到正样本的概率为：

$p(C=pos|X,c)=\frac{p(x_{pos}|c){\prod }_{i=1,\dots ,N;i\ne pos}p(x_i)}{{\sum }_{j=1}^N[p(x_j|c){\prod }_{i=1,\dots ,N;i\ne j}p(x_i)]}=\frac{\frac{p(x_{pos|c})}{p(x_{pos})}}{{\sum }_{j=1}^N\frac{p(x_j|c)}{p(x_j)}}=\frac{f(x_{pos},c)}{{\sum }_{j=1}^{N}f(x_j,c)}$

$p(x_{pos}){\prod }_{i=1,\dots ,N;i\ne pos}p(x_i)=1(必然事件)$

这里用$f(x,c)$表示$\frac{p(x|c)}{p(x)}$

InfoNCE loss优化正确分类正样本的负对数概率：

$L_{InfoNCE}=-\mathbb{E}[log\frac{f(x,c)}{{\sum }_{x^{\prime }\in X}f(x^{\prime },c)}]$

$f(x,c)$估计密度比例$\frac{p(x|c)}{p(x)}$，这涉及到互信息优化。为了最大化输入$x$与上下文向量$c$之间的互信息，我们有：

$I(x;c)={\sum }_{x,c}p(x,c)log\frac{p(x,c)}{p(x)p(c)}={\sum }_{x,c}p(x,c)log\frac{p(x|c)}{p(x)}$

这里蓝色的对数项可由$f$估计得到。

对于序列预测任务，CPC不直接对未来观测$p_k(x_{t+k}|c_t)$进行建模，而是通过对密度函数建模来保存$x_{t+k}$与$c_t$之间的互信息：

$f_k(x_{t+k},c_t)=exp(z_{t+k}^T{W}_{k{c}_t})\propto \frac{p(x_{t+k}|c_t)}{p(x_{t+k})}$

$\propto$为正比符号

$z_{t+k}$为被编码的输入，$W_k$是可训练的权重矩阵。

Soft-Nearest Neighbors Loss

该损失函数从单正样本扩展到多个正样本。(Salakhutdinov & Hinton 2007, Frosst et al. 2019)

给定一组样本，$\{(x_i,y_i){\}}_{i=1}^B$，其中$y_i$是$x_i$的类别标签，函数$f(.,.)$用于度量两个输入的相似程度。位于温度系数$\tau$下的soft nearest neighbor loss定义为：

$L_{snn}=-\frac{1}{B}{\sum }_{i=1}^{B}log\frac{{\sum }_{i\ne j,y_i=y_j,j=1,\dots ,B}exp(-f(x_i,x_j)/\tau )}{{\sum }_{i\ne k,k=1,\dots ,B}exp(-f(x_i,x_k)/\tau )}$

温度系数$\tau$调整表征空间中特征分布的疏密。想象一下胖瘦高斯分布。
低温时，概率分布更紧凑。模型对负样本的关注会减少。

一般设定（Common Setup）

在软近邻损失（Soft Nearest-neighbor loss）中，我们可以适度放松对类别和标签的定义以在无监督的数据之外创造更多的正负样本对。比如，应用数据增强来生成原始数据的噪声版本。

目前大多数方法都遵循以下关于对比学习目标的定义来引入多种正负样本。通过Wang & Isola 2020中给出的步骤，令$p_{data}(.)$为${\mathbb{R}}^n$域内的数据分布，$p_{pos}(.,.)$为${\mathbb{R}}^{n\times n}$域内正样本对的分布。这两种分布应该满足以下条件：

• 对称性：$\forall x,x^{+},p_{pos}(x,x^{+})=p_{pos}(x^{+},x)$
• 边缘匹配：$\forall x,\int p_{pos}(x,x^{+})d{x}^{+}=p_{data}(x)$

为了学到一个能够学到L2-normalized特征向量的编码器$f(x)$，对比学习的目标为如下形式：

L c o n t r a s t i v e = E ( x , x + ) ∼ p p o s , { x i − } i = 1 M i . i . d ∼ p d a t a [ − l o g e x p ( f ( x ) T f ( x + ) / τ ) e x p ( f ( x ) T f ( x + ) / τ ) + ∑ i = 1 M e x p ( f ( x ) T ) f ( x i − ) / τ ] L_{contrastive}=\mathbb{E}_{(x,x^+)\sim p_{pos},\{x_i^-\}_{i=1}^{Mi.i.d}\sim p_{data}}[-log\frac{exp(f(x)^Tf(x^+)/\tau)}{exp(f(x)^Tf(x^+)/\tau)+\sum_{i=1}^Mexp(f(x)^T)f(x_i^-)/\tau}] Lcontrastive​=E(x,x+)∼ppos​,{xi−​}i=1Mi.i.d​∼pdata​​[−logexp(f(x)Tf(x+)/τ)+∑i=1M​exp(f(x)T)f(xi−​)/τexp(f(x)Tf(x+)/τ)​]

≈ E ( x , x + ) ∼ p p o s , { x i − } i = 1 M i . i . d ∼ p d a t a [ − f ( x ) T f ( x + ) / τ + l o g ( ∑ i = 1 M e x p ( f ( x ) T f ( x i − ) / τ ) ) ] \approx \mathbb{E}_{(x,x^+)\sim p_{pos},\{x_i^-\}_{i=1}^{M i.i.d}\sim p_{data}[-f(x)^Tf(x^+)/\tau+log(\sum_{i=1}^{M}exp(f(x)^Tf(x_i^-)/\tau))]} ≈E(x,x+)∼ppos​,{xi−​}i=1Mi.i.d​∼pdata​[−f(x)Tf(x+)/τ+log(∑i=1M​exp(f(x)Tf(xi−​)/τ))]​

$=-\frac{1}{\tau }{\mathbb{E}}_{(x,x^{+})\sim p_{pos}}f(x{)}^{T}f(x^{+})+{\mathbb{E}}_{x\sim p_{data}}[log{\mathbb{E}}_{x^{-}\sim p_{data}}[{\sum }_{i=1}^{M}exp(f(x{)}^{T}f(x_i^{-})/\tau )]]$