【Novel Category Discovery】Residual Tuning: Towards Novel Category Discovery without Labels in TNNLS

一、简介

题目： Residual Tuning: Towards Novel Category Discovery without Labels
期刊： TNNLS 2022
任务： 最初，有一个有标签的数据集（其数据均属已知类），出于隐私保护，使用该数据集训练过模型后，数据会被变得不可获取，之后会有一个无标签的数据集（其数据均属于新类/未知类，与已知类不相交，类别数已知），要求模型保留对已知类的分类能力同时对无标签样本进行聚类，或称新类发现（Novel Category Discovery）。
Note: 它与Class-Incremental Novel Class Discovery讲的是同一个故事。
方法：
（1）在有标签数据上预训练。以ResNet-18为backbone，跟一个线性层提取基特征，再跟一个分类头，以交叉熵为损失进行优化，之后保存模型；
（2）在无标签数据上进行残差微调（此时有标签数据变得不可获取）。新建一个网络，仍以ResNet-18为backbone并跟一个线性层提取基特征（与(1)中大小相同），再额外增加一个线性层提取残差特征。之后设置三个损失项：蒸馏损失$L_{distill}$+聚类损失$L_{cluster}$+成对损失$L_{pairwise}$进行微调（基特征用于优化$L_{distill}$，残差特征用于优化$L_{pairwise}$，基特征与残差特征联合优化$L_{cluster}$）。

该方法结构图，如上所示。

二、详情

1. 学习有标签数据（预训练）

首先，有一个有标签数据集$D^l$可供预训练，它们均属于已知类，类别数为$C^l$。

网络结构是以ResNet-18为backbone，跟一个线性层提取基特征（basic feature，记作$b(x_i^l)$），再跟一个分类头（大小=已知类类别数量），以如下交叉熵为损失进行优化：

预训练之后需保存模型，该模型有两个作用：
（1）模型参数会用于初始化新模型的一部分参数；
（2）模型会在计算蒸馏损失时被使用。

2. 学习无标签数据（残差微调）

此时，有标签数据变得不可获取，提供一个无标签数据$D^u$（全部属于未知类/新类，类别数$C^u$已知且与已知类不相交），目标变成在无标签数据上进行残差微调保留模型识别已知类的能力同时对新类进行聚类。

新建一个网络，网络结构仍以ResNet-18为backbone并跟一个线性层提取基特征（与(1)中大小相同，记作$b(x_i^u)$），由之前保存的模型参数进行初始化。再额外增加一个分支，以线性层提取残差特征（大小与$b(x_i^u)$相同，记作$r(x_i^u)$），组合两个特征记作$c(x_i^u)=b(x_i^u)+r(x_i^u)$。

之后，作者设置了三个损失项：蒸馏损失$L_{distill}$、聚类损失$L_{cluster}$、成对损失$L_{pairwise}$用于在无标签数据上微调新网络。

A. 深度聚类特征提取与优化

该方法是结合了DEC和DTC（后者是前者的改进版本），旨在提取更利于聚类的特征并实施聚类。与DEC不同的是，作者综合DTC的建议，对特征进行了PCA降维。

该部分是针对组合特征$c(x_i^u)$进行优化的，在得到组合特征$c(x_i^u)$之后对其进行PCA降维，得到一个约减后的组合特征$\tilde{c}(x_i^u)$（维度为$C^u$）。接着，在组合特征$\tilde{c}(x_i^u)$上实施k-means聚类，找到$C^u$个特征中心 { μ k } k = 1 C u \{\pmb\mu_k\}_{k=1}^{C^u} {μk​}k=1Cu​（特征中心的维度也是$C^u$）。

之后，可根据组合特征$\tilde{c}(x_i^u)$和特征中心 { μ k } k = 1 C u \{\pmb\mu_k\}_{k=1}^{C^u} {μk​}k=1Cu​的相似度计算一个软分配（one-hot形式为硬分配，以$[1,0,0]$为例，则$[0.6,0.3,0.1]$为软分配，实际上此处的软分配类似于softmax层的输出），计算方式如下：

这是一个student’s t-distribution，其中，$\alpha =1$，$q_k(x_i^u)$表示$\tilde{c}(x_i^u)$属于第$k$个簇的概率。由上式可知，该概率是根据距离计算的，简单来说，特征距离某个簇的中心越近，则属于该簇的可能性就越大。

那么，预测概率$q_k(x_i^u)$有了，就还需要一个目标概率，从而使预测概率逐渐逼近目标概率。作者采用的是如下辅助目标分布：

其中，$f_k={\sum }_i{q}_k(x_i^u)$，即所有无标签样本在簇$k$上的预测概率的总和。由上式可知，该目标分布是根据预测概率制定的，简单来说，预测概率占总预测概率的比重越大，则目标概率就越大，反之则越小。目标概率与预测概率的关系如下图：

试想只有在样本特征距离某个簇中心很近时，预测概率才会较大，使用此目标概率就可使这种可信度高的接近簇中心的样本所提特征更加靠近簇中心。反之，只有在样本特征距离某个簇中心很远时，预测概率才会较小，目标概率就更小，使用此目标概率就可使这种可信度低的远离簇中心的样本所提特征更加远离簇中心。

为使预测概率$q_k(x_i^u)$接近目标概率$t_k(x_i^u)$，作者将如下KL散度作为损失进行优化：

KL散度是用来衡量两个分布之间的差距的，所以优化该损失能达到使预测概率$q_k(x_i^u)$更加接近目标概率$t_k(x_i^u)$的目的。更深一步的考虑，为达到该目的，实际优化的是特征（使靠近簇中心的更靠近，使远离簇中心的更远离），因此使用该方法能够得到更适合聚类的特征进而实现聚类目标。

B. 保留基特征以避免遗忘

之前学过的知识都储存在之前保存的预训练模型里，作者使用蒸馏损失来将这部分知识转移到新模型中，以使新模型仍具有识别旧类的能力。

首先，在新模型的基特征层上增加一个与旧模型结构和参数都相同的分类头。然后，引入如下蒸馏损失：

其中，$\hat{p}(y|x_i^u)$是无标签数据$x_i^u$输入存储的旧模型在类别$y$上的预测概率，相应地，$p(y|x_i^u)$是无标签数据$x_i^u$输入新模型刚加的分类头在类别$y$上输出的预测概率。旧模型被保存后就被冻结，微调阶段其参数也不会更新。

实际上，该损失与交叉熵的形式相同，不过，它以旧模型的输出作为目标概率，以新模型的输出作为预测概率进行优化。简单来说，就是希望新模型在基特征这条线上的预测结果能与旧模型接近，这就说明两者所学知识也是相似的，即之前用旧模型所学的知识也就迁移到了新模型中。

C. 相似特征对比学习

对比学习是一种常用的无监督学习方法，通常使用二元交叉熵形式的损失函数，其关键在于相似样本对的找寻和伪标签的设置，以实现相似样本特征彼此接近，非相似样本特征彼此远离的目的。

两个无标签样本的相似性由如下余弦相似度计算：

$$s_{i,j}=p(x_i^u)\odot p(x_j^u)=p^T(x_i^u)\cdot p(x_j^u)$$

其中，$p(x_i^u)$、$p(x_j^u)$为基特征后的分类头的概率输出。于是，同一批次的预测两两之间的相似度就能形成一个相似度矩阵。然后，每个样本都可以找出与自己最相似的$k$个样本。如果$x_j^u$是$x_i^u$的前$k$个最相似的样本中的一个，那么$A_{i,j}=1$，否则，$A_{i,j}=0$。所以，作者使用余弦相似度度量相似性，以$k$近邻的方式寻找相似样本对，并分配给相似样本对伪标签$A_{i,j}$。

此外，我们希望的是如果两个样本相似，则其基特征相似，同样残差特征也应该相似。于是，作者又在新模型的残差特征层上增加了一个大小为$C^u$的分类头。

与基特征上分类头的概率输出的相似性类似，在残差特征上分类头的概率预测间的相似度$s_{i,j}^u$也能组成一个相似度矩阵，所以，样本$x_j^u$是$x_i^u$就有了两个相似度$s_{i,j}$和$s_{i,j}^u$。为使相似样本基特征和残差特征分别相似的目的，作者采用如下成对损失：

可以看到，作者使用的是由基特征衡量出的相似度矩阵所确定的伪标签$A_{i,j}$以及由残差特征衡量出的相似度$s_{i,j}^u$。因此，当$A_{i,j}=1$时，表明两个样本的基特征相似，此时要使$s_{i,j}^u$增大，即残差特征更相似才能使损失降低；反之，当$A_{i,j}=0$时，表明两个样本的基特征不相似，此时要使$s_{i,j}^u$减小，即残差特征更不相似才能使损失降低。简单来说，该损失能使两个相似的样本的特征都更加相似，反之，则使两个不相似的样本的特征都更不相似。

于是，作者形成了如下的总损失函数：

其中，$\beta$为权重。$L_{cluster}$由基特征和残差特征共同优化，用于提取更优质的聚类特征；$L_{distill}$由基特征优化，用于迁移旧模型中的知识到新模型中；$L_{pairwise}$由残差特征优化，用于将相似样本的特征聚到一起。

综上，经过预训练与残差微调，该模型即可具备识别旧类并聚类新类的能力。