OpenMix Reviving Known Knowledge for Discovering Novel Visual Categories in An Open World

OpenMix_ Reviving Known Knowledge for Discovering Novel Visual Categories in An Open World (CVPR 2021)

Abstract

在本文中，我们解决了在无标签的可视数据中发现新类的问题。现有的方法通常首先用有标签数据对模型进行预训练，然后通过无监督聚类在无标签数据中识别新的类。然而，在第二步中，提供基本知识的有标签数据往往被忽视。我、而挑战在于有标签数据和无标签数据都来自于没有重叠的类，这使得很难在它们之间建立学习关系。在本工作中，我们引入OpenMix来混合来自开放集合的无标签样本和已知类的有标签样本，其中它们的非重叠标签和伪标签同时混合到一个联合标签分布中。OpenMix以两种方式动态组合样本。首先，我们将有标签样本与有标签样本合并生成混合训练图像。在新的类发现中，由于具有独特的先验知识，生成的伪标签比原始的无标签预测更加可信。因此，OpenMix有助于防止模型对可能被分配了错误的伪标签的无标签样本进行过度拟合。第二，第一种方法鼓励具有高分类概率的无标签样本具有相当的准确性。我们引入这些样本作为可靠的锚点，并进一步将它们与无标签样本混合。这使我们能够在未标记的例子中生成更多的组合，并利用新类之间更好的对象关系。

Method

Baseline

该论文中依旧采用两阶段学习策略来设计Baseline。在第一阶段，我们用有标签数据训练CNN和针对已知类别的分类器，这可以使得模型生成有基本的可区分度的图像表征，以及准确区分已知类别中的样本。在第二阶段，我们在无标签数据集上，通过一个伪配对学习和伪标签学习，学习一个无标签聚类模型，使其具有区分新类样本的能力。
第一阶段：模型初始化 给定有标签数据 D l = { X l , Y l } D^l=\{X^l,Y^l\} Dl={Xl,Yl}，我们能够以监督学习的方式训练模型。具体来说就是，和传统监督分类一致，用交叉熵训练模型：
$${\mathcal{L}}_{ce}=-\frac{1}{n^l}\sum _{i=1}^{n^l}\log {\left[\mathrm{SoftMax}\left(z_i^l\right)\right]}^{\top }\cdot {\hat{y}}_i^l$$
其中，$n^l$是小批量中有标签训练样本的数量，$z_i^l\in {\mathbb{R}}^{C^l}$是针对已知类别的分类器输出向量，${\hat{y}}_i^l\in {\mathbb{R}}^{C^l}$是由标签$y_i^l$转换的one-hot编码。

第二阶段：无监督聚类
伪配对学习（Pseudo-Pair Learning) 给定一个在有标签数据上预训练的模型，我们在CNN的头部再添加一个针对$C^u$个新类的分类层。接着，我们专注于第二阶段，例如无标签数据上的无监督聚类。为了实现该目的，我们实现探索用于模型训练的两个样本之间的关系，受之前一些工作的启发，我们认为一对图像之之间的关系应该是一种二值关系。换种说法，每对图像之间的关系要么是属于同一类，要么是属于不同类。观察到这一点，我们将无监督聚类问题转变为一个二值分类问题，旨在区分一对图像是否属于同一类。
首先，我们获取新分类器在输入无标签数据后的输出，并计算余弦相似度矩阵：
$${\mathcal{S}}_{i,j}=\frac{{\left({\hat{z}}_i^u\right)}^{\top }\cdot {\hat{z}}_j^u}{{\Vert {\hat{z}}_i^u\Vert }_2{\Vert {\hat{z}}_j^u\Vert }_2},{\hat{z}}_i^u=\mathrm{SoftMax}\left(z_i^u\right)$$
其中$z_i^u\in {\mathbb{R}}^{C^u}$是新分类器的输出，$n^u$是小批量中有标签训练样本的数量。我们接着估计伪两两标签$\mathcal{W}$通过在$\mathcal{S}$上设置一个阈值${\theta }_1$：
$${\mathcal{W}}_{i,j}=\{\begin{array}{ll}0,& {\mathcal{S}}_{i,j}<{\theta }_1\\ 1,& {\mathcal{S}}_{i,j}\ge {\theta }_1\end{array}$$
通过上述操作，两张图片之间就可以被定义为一个积极对（positive pair）如果它们的余弦相似度大于${\theta }_1$，否则，就是一个消极对（negetive pair）。给定两两监督，我们就可以用二元交叉熵训练模型：
L p p l = − 1 ( n u ) 2 ∑ i , j ( W i , j log ⁡ S i , j + ( 1 − W i , j ) log ⁡ ( 1 − S i , j ) ) , ∀ i , j ∈ { 1 , 2 , … , n u } \begin{array}{l}\mathcal{L}_{p p l}=-\frac{1}{\left(n^{u}\right)^{2}} \sum_{i, j}\left(\mathcal{W}_{i, j} \log \mathcal{S}_{i, j}\right. \\\left.+\left(1-\mathcal{W}_{i, j}\right) \log \left(1-\mathcal{S}_{i, j}\right)\right), \forall i, j \in\left\{1,2, \ldots, n^{u}\right\}\end{array} Lppl​=−(nu)21​∑i,j​(Wi,j​logSi,j​+(1−Wi,j​)log(1−Si,j​)),∀i,j∈{1,2,…,nu}​

伪标签学习（Pseudo-Label Learning) 根据之前的文献证明，图像之间的约束矩阵${\mathcal{W}}_{i,j}$可以实现以下聚类属性：
如果上述二元交叉熵损失得到最优解，则$\forall i,j,{\hat{z}}^u\in {\mathbb{R}}^{C^u},{\hat{z}}_i^u={\hat{z}}_j^u\iff {\mathcal{W}}_{i,j}=1,and,{\hat{z}}_i^u\ne {\hat{z}}_j^u\iff {\mathcal{W}}_{i,j}=0$
该属性表明最优的新类分类器的预测向量恰好是$C^u$多元独热编码。换句话说，无标签数据$D^u$可以自动分到$C^u$个团中。
基于这一特性，对于未标记的样本，我们将新分类器的预测输出重新表述为一个onehot伪标签，从而进一步提高模型的性能。无标签数据$x_i^u$的onehot伪标签${\hat{y}}_i^u$可以通过设置阈值${\theta }_2$得到：
$${\hat{y}}_i^u[j]=\{\begin{array}{ll}0,& {\hat{z}}_i^u[j]<{\theta }_2\\ 1,& {\hat{z}}_i^u[j]\ge {\theta }_2\end{array}$$
在伪标签学习中，我们只用分配了伪标签的无标签数据训练模型。给定无标签样本的onehot伪标签，我们可以通过交叉熵训练模型：
L p l l = − 1 n ^ u ∑ i log ⁡ ( z ^ i u ) ⊤ ⋅ y ^ i u , ∀ i ∈ { Max ⁡ ( y ^ i u ) = 1 } \mathcal{L}_{p l l}=-\frac{1}{\hat{n}^{u}} \sum_{i} \log \left(\hat{z}_{i}^{u}\right)^{\top} \cdot \hat{y}_{i}^{u}, \quad \forall i \in\left\{\operatorname{Max}\left(\hat{y}_{i}^{u}\right)=1\right\} Lpll​=−n^u1​i∑​log(z^iu​)⊤⋅y^​iu​,∀i∈{Max(y^​iu​)=1}
联合两个损失： 联合伪配对学习和伪标签学习，无监督聚类损失表述为：
$${\mathcal{L}}_{uc}={\mathcal{L}}_{ppl}+{\lambda }_1{\mathcal{L}}_{pll}$$
其中${\lambda }_1$是控制伪标签学习重要性的超参，到此，我们提出了新类发现的Baseline。

OpenMix

在上述baseline中，有标签数据只起到了模型初始化的作用。但是在第二阶段无监督聚类中没有用到有标签数据。这篇论文中，我们认为有标签数据可以提供用于提升无监督聚类性能的重要知识。该部分，我们提出OpenMix用于在无标签数据$D^u$进行无监督聚类期间高效利用有标签数据$D^l$。简单来说，无监督聚类过程中，OpenMix以两种方式额外混合样本：

1. 混合无标签样本和有标签样本；
2. 混合无监督样本和可靠锚点。
   

混合有标签样本 在第一种方式中，OpenMix将有标签样本和无标签样本混合，以及混合它们对应的标签和伪标签。首先利用有标签样本和无标签样本属于完全不同类别的先验知识，将有标签样本和无标签样本的标签分布扩展到相同的大小。细节上就是将${\hat{y}}^l$和一个$C^u$维的零向量拼接，同时，将${\hat{z}}^l$和一个$C^l$维的零向量拼接。这种拓展的标签/伪标签中，${\bar{y}}^l$和${\bar{y}}^u$分别表示有标签数据和无标签数据拓展后的标签。接着，我们就可以通过MixUp生成视觉样本：
$$\begin{array}{l}\eta \sim \mathrm{Beta}(ϵ,ϵ),{\eta }^{\ast }=\mathrm{Max}(\eta ,1-\eta )\\ m={\eta }^{\ast }{x}^l+\left(1-{\eta }^{\ast }\right)x^u,v={\eta }^{\ast }{\bar{y}}^l+\left(1-{\eta }^{\ast }\right){\bar{y}}^u\end{array}$$
其中$ϵ$为超参，$\eta \in [0,1]$。$m$表示生成样本，$v$表示$m$的伪标签。同时${\eta }^{\ast }$使得生成样本更靠近$x^l$。这可以额缓解无标签样本的不可靠伪标签带来的负面影响。
混合样本在旧类别中具有完全真实的置信度，在新类别中具有中等置信度。这得益于先验知识，即有标签样本的标签完全正确，有标签样本与无标签样本的类别完全不同。因此，通过OpenMix将有标签样本与无标签样本进行混合，混合样品的伪标签会比无标签样本的伪标签更可靠。混合样本学习可以帮助防止模型对分配了错误伪标签的无标签样本进行过拟合。

**混合可靠锚点： ** 通过用第一阶段生成的样本训练，我们发现对于具有高分类概率的无标签样本，该模型保持了相当高的准确性。基于以上观察，在第二种方法中，我们选择具有高分类概率的无标签样本作为可靠锚点。接着，我们将这些锚点和无标签样本通过OpenMix混合，我们通过在上述生成混合样本中用一个可靠的锚替换有标签数据$x^l$来执行这个操作。

**OpenMix损失： ** 给定混合样本$\mathcal{M}$及对应的伪标签$\mathcal{V}$，我们用2-范数损失训练模型：
$${\mathcal{L}}_{\text{opm }}=\frac{1}{|\mathcal{M}|}\sum \frac{1}{C^l+C^u}{\Vert v_i-\mathrm{SoftMax}\left(z_i^m\right)\Vert }_2$$
OpenMix具有以下优点：

1. 通过混合有标签和无标签样本，混使得合伪标签在已知类和新类上至少包含一部分正确标签，从而有效地消除了未标签样本的不正确伪标签;
2. 已知类和新类的联合分布在训练过程中注入了额外的弱监督，即标记/未标记数据不是新类/已知类，这可以抑制伪标签在新类上的错误。以上两个方面使我们的OpenMix能够提供更加稳定可靠的训练。

总体损失

通过联合baseline和所提出的OpenMix，总体损失表述为：
$${\mathcal{L}}_{all}={\mathcal{L}}_{uc}+{\lambda }_2{\mathcal{L}}_{opm}$$
其中$lambd{a}_2$平衡OpenMix的权重。
在我们的方法中还考虑了变换一致性的约束。这个约束假设对图像$x$的预测和它的变换对应物$x^{\prime }$应该是相同的。我们不是直接最小化$x$和$x^{\prime }$的预测之间的差异，而是遵循对转换后的对应对象$x^{\prime }$额外执行我们的方法的约束。具体地说，在每次训练迭代中，我们对图像及其对应的变换使用相同的伪两两标签和一热伪标签。我们的方法的最终损失可以重新表述为：
$${\mathcal{L}}_{all}={\mathcal{L}}_{uc}+{\lambda }_2{\mathcal{L}}_{opm}+{\mathcal{L}}_{uc}^{\prime }+{\lambda }_2{\mathcal{L}}_{\text{opm }}^{\prime }$$
式中，${\mathcal{L}}_{uc}^{\prime }$和${\mathcal{L}}_{\text{opm }}^{\prime }$为变换后的未标记样本的损失。在测试过程中，我们使用新的分类器来预测无标签样本的类别。