AutoNovel_ Automatically Discovering and Learning Novel Visual Categories (TPAMI 2021）

AutoNovel_ Automatically Discovering and Learning Novel Visual Categories (TPAMI 2021）

摘要

我们解决了在一个图像集合中发现新的类的问题，给出了其他类的带标签的例子。我们提出了一种名为AutoNovel的新方法来解决这个问题，它结合了三个想法:(1)我们认为，使用带标签数据的自引导图像表示的常见方法只会引入不必要的偏差，而这可以通过使用自我监督学习从头开始训练有标签和无标签数据的表示来避免;(2)利用排序统计量将模型对带标签类的认识转移到对无标签图像的聚类问题上;(3)通过对数据的带标签和无标签子集优化联合目标函数来训练数据表示，提高了带标签数据的监督分类和无标签数据的聚类。此外，我们还提出了一种估计新类别数量的方法。我们评估了AutoNovel在标准分类基准上的表现，并在新类别发现方面显著优于当前的方法。此外，我们还证明了AutoNovel可以用于完全无监督的图像聚类，取得了很好的结果。

策略

这篇论文采用的方法是在Automatically Discovering and Learning New Visual Categories with Ranking Statistics (ICLR 2020)的基础上取消了一个不真实的假设：新类数量已知，然后引入Learning to discover novel visual categories via deep transfer clustering (ICCV 2019)中使用的估计新类数量方式。（上面两篇论文的具体方法已经阐述过，这里就不再赘述。）

不同点

1. 首先，包含了一个解决方案来处理未标记数据中未知类别数量的情况
2. 其次，研究了不同的排序统计方法来生成成对的伪标签，并比较了它们的有效性。
3. 第三，扩展了实验和研究将图像预处理模型的表示转移到新的领域。
4. 第四，测试了不同的自我监督学习方法作为算法祖成部分的有效性。
5. 第五，展示了用于无监督聚类在公共基准上实现了最先进的结果。

补充点

Automatically Discovering and Learning New Visual Categories with Ranking Statistics根据排序统计生成伪标签的具体方法：

以及分析数值排序得到的伪标签可以具备更好的性能：

1. 首先，数值排序集中在每个图像的$topk$个最活跃的特征分量上。直观地说，这些分量的大小反映了它们对图像中对象的区别程度。因此，、排名统计在比较图像时只考虑最显著的特征成分，而忽略了值小的噪声成分。
2. 其次，余弦相似度等其他相似度度量方法，在高维向量空间中使用整个特征向量进行比较，可能会遇到距离集中问题。距离集中是一种反直觉的现象，随着数据维数的增加，点之间的所有成对距离可能会收敛到相同的值，这在我们的例子中是不希望看到的。
3. 第三，进一步放宽比较，不要求排名前k的顺序相同。相反，我们只检查排名前k的集合。这进一步使得两两比较对于最具鉴别性的特征组件之间的轻微差异是稳健的。