【Novel Category Discovery】OpenCon: Open-world Contrastive Learning in TMLR 2023 个人理解

一、简介

题目： OpenCon: Open-world Contrastive Learning
会议： TMLR 2023
任务： 给定一个数据集，其中部分样本有标签（可认为它们属于已知类），其余样本无标签（可能属于已知类也可能属于未知类/新类），要求将无标签样本中属于已知类的样本正确分类，对属于新类别的样本进行聚类。
Note: 它与Open World Semi-Supervised Learning与Generalized Category Discovery讲的是同一个故事。
方法：
（1）采用Open World Semi-Supervised Learning或AutoNovel中的方法确定总类别数量（包括已知类和新类）。然后，在backbone后增加一个分类头，其大小等于总类别数量。
（2）采用对比损失进行网络优化。对比损失有3项，分别针对所有有标签的数据、所有无标签的数据、无标签数据中属于新类别的数据。

Note: 对于(1)，原文中说是采用Open World Semi-Supervised Learning或Learning to Discover Novel Visual Categories via Deep Transfer Clustering中的方法，因为后者与AutoNovel是同一作者用的是同一方法，并且对AutoNovel我们已经做了解析，所以上面(1)中给出的是Open World Semi-Supervised Learning或AutoNovel。

二、详情

1. 常规的对比损失

$${\mathcal{L}}_{\varphi }(\text{x};\tau ,\mathcal{P}(\text{x}),\mathcal{N}(\text{x}))=-\frac{1}{|\mathcal{P}(\text{x})|}\sum _{{\text{z}}^{+}\in \mathcal{P}(\text{x})}\log \frac{\exp ({\text{z}}^T\cdot {\text{z}}^{+}/\tau )}{{\sum }_{{\text{z}}^{\ast }\in \mathcal{A}(\text{x})}\exp ({\text{z}}^T\cdot {\text{z}}^{\ast }/\tau )}$$
其中
$$\sum _{{\text{z}}^{\ast }\in \mathcal{A}(\text{x})}\exp ({\text{z}}^T\cdot {\text{z}}^{\ast }/\tau )=\sum _{{\text{z}}^{+}\in \mathcal{P}(\text{x})}\exp ({\text{z}}^T\cdot {\text{z}}^{+}/\tau )+\sum _{{\text{z}}^{-}\in \mathcal{N}(\text{x})}\exp ({\text{z}}^T\cdot {\text{z}}^{-}/\tau )$$
其中，$\text{x}$为样本，$\text{z}=\varphi (\text{x})$为提取出来的特征，$\tau$是一个调节参数，$\mathcal{P}(\text{x})$和$\mathcal{N}(\text{x})$分别是$\text{z}$的正集和负集。

Note: 为方便理解，我们稍微修改了文中对比损失部分公式，将$\mathcal{N}(\text{x})$改为$\mathcal{A}(\text{x})$，这样$\mathcal{P}(\text{x})$与$\mathcal{N}(\text{x})$分别为正负集会更容易让人理解。

对比损失能够保证在特征空间中${\text{z}}^{+}$更接近$\text{z}$，${\text{z}}^{-}$更远离$\text{z}$，更重要的是它能使模型更关注如何区分$\text{z}$与困难负样本。简单理解，假设$\text{z}$为🐈，${\text{z}}^{+}$就是其它的🐈，${\text{z}}^{-}$为🐘或🐅。对模型来说🐘与🐈相对容易区分，🐘可被认为简单负样本，🐅与🐈容易被模型分错，那么🐅可被认为是困难负样本。

鉴于对比损失的优良特性，作者定义了如下的损失函数：

其中，${\mathcal{L}}_n$、${\mathcal{L}}_l$、${\mathcal{L}}_u$分别为针对无标签数据中属于新类别的数据、所有有标签的数据、所有无标签的数据的对比损失。${\lambda }_n$、${\lambda }_l$、${\lambda }_u$为对应的系数。

在分类已知并聚类已知的问题中，想要使用该损失函数，难题在于如何确定$\mathcal{P}(\text{x})$和$\mathcal{N}(\text{x})$。

2. 自监督对比损失

我们从最简单的自监督对比损失讲起，它是针对无标签样本的。损失函数如下：
$${\mathcal{L}}_{\varphi }(\text{x};{\tau }_u,{\mathcal{P}}_u(\text{x}),{\mathcal{N}}_u(\text{x}))=-\frac{1}{|{\mathcal{P}}_u(\text{x})|}\sum _{{\text{z}}^{+}\in {\mathcal{P}}_u(\text{x})}\log \frac{\exp ({\text{z}}^T\cdot {\text{z}}^{+}/{\tau }_u)}{{\sum }_{{\text{z}}^{\ast }\in \mathcal{A}(\text{x})}\exp ({\text{z}}^T\cdot {\text{z}}^{\ast }/{\tau }_u)}$$

我们将一个批次的无标签数据记为${\mathcal{B}}_u$，对${\mathcal{B}}_u$进行两次随机增强得到${\tilde{\mathcal{B}}}_u$（$|{\tilde{\mathcal{B}}}_u|=2|{\mathcal{B}}_u|$）。假设无标签样本为$\text{x}$，由$\text{x}$两次随机增强的样本为${\text{x}}^{\prime }$和${\text{x}}^{\prime \prime }$，对应的特征为${\text{z}}^{\prime }$和${\text{z}}^{\prime \prime }$，${\tilde{\mathcal{B}}}_u$对应的特征集便是{${\text{z}}^{\prime },\mathcal{A}(\text{x})$}。

Note: 所有的损失都是在${\tilde{\mathcal{B}}}_u$上进行计算的，不再考虑${\mathcal{B}}_u$。

由于样本无标签，所以只能进行自监督，于是，从${\tilde{\mathcal{B}}}_u$中选择一个${\text{x}}^{\prime }$，对应的特征为${\text{z}}^{\prime }$，那么${\mathcal{P}}_u(\text{x})$便只有一个元素，就是由$\text{x}$增强的另一个样本${\text{x}}^{\prime \prime }$的特征${\text{z}}^{\prime \prime }$。$\mathcal{A}(\text{x})$就是除了${\text{z}}^{\prime }$之外的${\tilde{\mathcal{B}}}_u$的所有特征的集合。${\mathcal{N}}_u(\text{x})=\mathcal{A}(\text{x})-{\mathcal{P}}_u(\text{x})$，即${\mathcal{N}}_u(\text{x})$为${\mathcal{B}}_u$去掉$\text{x}$后所有样本两次随机增强后的特征集。

3. 有监督对比损失

接着，我们讲有监督对比损失，它是针对有标签样本的。我们同样对${\mathcal{B}}_l$（一个批次的有标签数据）进行两次随机增强得到${\tilde{\mathcal{B}}}_l$。相应的损失函数如下：
$${\mathcal{L}}_{\varphi }(\text{x};{\tau }_l,{\mathcal{P}}_l(\text{x}),{\mathcal{N}}_l(\text{x}))=-\frac{1}{|{\mathcal{P}}_l(\text{x})|}\sum _{{\text{z}}^{+}\in {\mathcal{P}}_l(\text{x})}\log \frac{\exp ({\text{z}}^T\cdot {\text{z}}^{+}/{\tau }_l)}{{\sum }_{{\text{z}}^{\ast }\in \mathcal{A}(\text{x})}\exp ({\text{z}}^T\cdot {\text{z}}^{\ast }/{\tau }_l)}$$

与自监督对比损失不同的是，有监督对比损失的${\mathcal{P}}_l(\text{x})$中的元素更多。对于${\text{x}}^{\prime }$来说，除${\text{x}}^{\prime \prime }$外，我们还希望与${\text{x}}^{\prime }$同标签的其它样本所提出的特征也能与${\text{z}}^{\prime }$接近。于是，这些特征连同${\text{z}}^{\prime \prime }$都应该归入${\mathcal{P}}_l(\text{x})$。相应地，${\mathcal{N}}_l(\text{x})$就是${\tilde{\mathcal{B}}}_l$中与${\text{x}}^{\prime }$标签不同的所有样本所提特征的集合。$\mathcal{A}(\text{x})={\mathcal{A}}_l(\text{x})+{\mathcal{N}}_l(\text{x})$。

Note: 该用法与原文稍有差别，因为作者并未使用${\text{x}}^{\prime \prime }$的标签，而是使用${\text{x}}^{\prime \prime }$的预测标签。个人认为既然有标签数据都是有标签的对他们充分使用会让结果更可靠。

4. 新类对比损失

最后，讲新类对比损失，它是针对无标签样本集中属于新类的样本的。然而，要针对属于新类的样本，就要先挑选出来这些样本。作者使用了基于原型的分布外检测的方法。原型首先被随机初始化，之后采用moving-average style的方法进行更新。你可以简单的将原型视为每个类别的一个代表特征向量。原型的数量就是总类别的数量，即已知类+新类的数量。

A. 基于原型的分布外检测

将满足如下条件的无标签数据视作新类样本：

其中，$\mu$为原型，${\mathcal{Y}}_l$是已知类的类别集合，$\lambda$为阈值。$\lambda$是根据有标签数据确定的，采用p-percentile的方法。例如p=90时，有10%的样本会被认作新类。该等式的意思是说将样本${\text{x}}_i$与已知类的原型$\mu$做对比，与$\varphi ({\text{x}}_i)$越接近，${\mu }_j^T\cdot \varphi ({\text{x}}_i)$就越大，那么$\varphi ({\text{x}}_i)$就越可能属于第$j$类。如果$\varphi ({\text{x}}_i)$与最接近的原型的相似度都不大于$\lambda$，就可以认为${\text{x}}_i$属于新类。

B. 正负集选择

首先还是对${\mathcal{B}}_n$（一个批次的新类数据）进行两次随机增强得到${\tilde{\mathcal{B}}}_n$。损失函数如下：
$${\mathcal{L}}_{\varphi }(\text{x};{\tau }_n,{\mathcal{P}}_n(\text{x}),{\mathcal{N}}_n(\text{x}))=-\frac{1}{|{\mathcal{P}}_n(\text{x})|}\sum _{{\text{z}}^{+}\in {\mathcal{P}}_n(\text{x})}\log \frac{\exp ({\text{z}}^T\cdot {\text{z}}^{+}/{\tau }_n)}{{\sum }_{{\text{z}}^{\ast }\in \mathcal{A}(\text{x})}\exp ({\text{z}}^T\cdot {\text{z}}^{\ast }/{\tau }_n)}$$之前说过，使用对比损失的关键在于$\mathcal{P}(\text{x})$和$\mathcal{N}(\text{x})$的选取。因为我们总共有$|{\mathcal{Y}}_{all}|$个原型，所以对于新类我们也可以使用如下公式来充分利用它们。
$$\hat{y}=\arg \underset{j\in {\mathcal{Y}}_{all}}{\max }{\mu }_j^T\cdot \varphi (\text{x})$$

使用该公式可以预测出新类样本的类别，这样就可以按照有标签样本的方式进行正负集的选择。对于随机增强的${\text{x}}^{\prime }$来说，${\mathcal{P}}_n(\text{x})$就应该是与${\text{x}}^{\prime }$的预测标签一致的那些样本的特征集合。相应地，${\mathcal{N}}_n(\text{x})$就是那些与${\text{x}}^{\prime }$的预测标签不一致的样本的特征集合。$\mathcal{A}(\text{x})={\mathcal{A}}_n(\text{x})+{\mathcal{N}}_n(\text{x})$。

C. 原型更新

因为原型是随机初始化的，效果肯定不好，所以需要随着训练进程而进行更新。更新当然要把原型朝向对应标签样本特征所在的位置更新。比如，${\mu }_j$就该往属于第$j$类的样本的特征所在地移动。移动使用moving-average style的方法，规则如下：

简单来说，如果样本${\text{x}}_i$是有标签的并且标签是$b$，那么${\mu }_b$可直接往它的特征$\text{z}$的方向移动，如果$\text{x}$没有标签并通过A. 基于原型的分布外检测 检测为新类，再根据$\arg {\max }_{j\in {\mathcal{Y}}_n}{\mu }_j^T\cdot \text{z}$判断出$j=d$，那么${\mu }_d$就往$\text{z}$的方向移动，否则，不移动。

至此，评估出总类别数量，并将${\mathcal{L}}_{OpenCon}$作为损失对网络进行优化后，便可以实现分类已知并聚类未知的目标。