TPAMI 2024 | 长尾视觉识别的概率对比学习

Probabilistic Contrastive Learning for Long-Tailed Visual Recognition

长尾视觉识别的概率对比学习

Chaoqun Du; Yulin Wang; Shiji Song; Gao Huang

---

摘要

长尾分布经常出现在真实世界的数据中，大量的少数类别包含有限数量的样本。这种不平衡问题严重削弱了主要为平衡训练集设计的标准监督学习算法的性能。最近的研究表明，监督对比学习在缓解数据不平衡方面显示出有希望的潜力。然而，监督对比学习的性能受制于一个固有的挑战：它需要足够大的训练数据批次来构建涵盖所有类别的对比对，但在类别不平衡的数据背景下，这一要求很难满足。为了解决这一障碍，我们提出了一种新颖的概率对比（ProCo）学习算法，该算法估计特征空间中每个类别样本的数据分布，并相应地采样对比对。实际上，在小批量数据中，特别是对于不平衡数据，估计所有类别的分布是不可行的。我们的关键思路是引入一个合理且简单的假设，即对比学习中的归一化特征遵循单位空间上的冯·米塞斯-费舍尔（vMF）分布的混合，这带来了两方面的好处。首先࿰