[行人重识别论文]Multi-Centroid Representation Network for Domain Adaptive Person Re-ID

摘要:

最近，许多方法通过基于伪标签的对比学习来解决无监督领域自适应人员重新识别(UDA re-ID)问题。在训练过程中，只需对具有相同伪标签的聚类中的所有实例特征求平均值，即可获得单质心表示。然而，由于聚类结果不完善，聚类可能包含具有不同身份的图像(标签噪声)，这使得单质心表示不合适。在本文中，我们提出了一种新型的多质心存储器(MCM)用于自适应地捕获集群内的不同身份信息。MCM可以通过为查询图像选择合适的正/负质心来有效缓解标签噪声问题。此外，我们进一步提出了两种策略来改善对比学习过程。首先，我们提出了一种特定领域的对比学习(DSCL)机制，通过仅比较来自同一领域的样本来充分探索领域内信息。其次，我们提出了二阶最近插值(SONI)来获得丰富且信息丰富的负样本。我们将 MCM、DSCL 和 SONI 集成到一个名为多质心表示网络(MCRN)的统一框架中。大量实验表明，MCRN在多个UDA重新识别任务和完全无监督的重新识别任务上优于最先进的方法。

目前存在的问题：

       随着对实用视频监控的需求不断增长，无监督域自适应人员重新识别 Unsupervised Domain Adaptive person re-identification（UDA re-ID） 正受到越来越多的关注。UDA re-ID 的目标是将从具有丰富注释的源域中学到的知识转移到未标记的目标域。以前的工作通常通过聚类来解决这个问题，遵循两步循环范式：

1. 通过聚类目标域生成训练样本的伪标签
2. 在伪标签的监督下，使用单质心表示（即聚类的平均特征或可学习权重）在目标域上优化模型。

Figure 1：Comparison of traditional uni-centroid representation and our multi-centroid representation when the cluster is mixed with different identities. (a) The uni-centroid representation incorporates multiple identity information which is inappropriate. (b) Our multi-centroid representation provides multiple discriminative centroids, making it possible to select a suitable centroid as the positive sample that captures the same identity information with the query.

       然而，由于聚类算法的结果不完善，伪标签总是包含对目标域性能有害的噪声。例如，如图 1（a）所示，属于两个身份的实例被错误地合并到一个集群中，并分配了相同的伪标签。在这种情况下，传统的单质心表示不可避免地包含来自不同身份的信息，当使用单质心表示作为查询的正样本时，这会误导特征学习。

Figure 2：illustrates the overall training pipeline of MCRN, which alternates between two steps: preparation step in Figure 2(a) and optimization step in Figure 2(b). In the preparation step, we group unlabeled images from Dt into clusters using clustering algorithm (e.g., DBSCAN (Ester et al. 1996)), based on the instance features extracted by the encoder. Then the Multi-Centroid Memory (MCM) is created and initialized, which is detailed later. In the optimization step, we carefully select positive/negative samples from MCM and generate more negative samples through SONI, followed by optimizing the encoder through DSCL between input queries and these samples. Note that MCM is dynamically updated during the optimization step.

可靠的正样本(Reliable positive samples)：

       对于一个查询，MCM中的一些K个正候选可能捕获不同的身份信息(即,假阳性质心)，这是由于错误的聚类结果造成的。为了获得可靠的正样本，我们将K个候选正样本按照与查询的余弦相似度升序排列。一个自然的选择是选择相似度最大的候选作为正样本。然而，最相似的候选项通常包含了先前更新中的查询特征，因此对学习类内多样性的信息较少。此外，最不相似的候选人更可能是离群值。因此，我们选择排名在中位数的候选者，我们称其为中等正质心，作为正样本。

可靠的负样本 (Reliable negative samples)：

       简单地将所有( ns + nt - 1)K负面候选人作为负样本是天真的选择。然而，具有相同身份的图像可能由于聚类结果不理想而被错误地分割成多个簇，从而产生假阴性候选。将查询和这些假阴性候选者推开会使特征学习产生偏差。然而，寻找和排除可能的假阴性候选者是相当困难的。为了缓解这一问题，我们将每个簇表示为其K个质心的均值特征，并将均值特征(命名为平均负质心)作为负样本。通过这种方式，我们可以从除查询所在簇外的所有簇中获得全部负样本的( nt + ns - 1)。

特定领域的对比学习 (Domain-Specific Contrastive Learning)：

       之前的工作SpCL ( Ge et al 2020)使用统一对比学习(UCL )将来自不同类的样本推开，并将同一类内的样本拉在一起。所有来自源域和目标域的负样本都被考虑，无论查询来自哪个域。UCL可以表示为：

       然而，由于存在显著的领域差距，模型很容易将查询与来自不同领域的负质心区分开来。这样的负样本不能提供有效的信息来学习判别性的表示。此外，简单地将它们从查询中推开会扩大领域鸿沟。因此，我们提出了特定领域的对比学习( Domain-Specific Contrastive Learning，DSCL )，将查询从同一领域的负样本中推离出来：

       我们将DSCL的方程( 5 )改造为如下形式，以包含SONI产生的负样本：

总损失(Overall Loss):

本文贡献可以概括如下：

1. 我们提出了一种多质心存储器( MCM )来缓解先前UDA重识别方法中的标签噪声问题。通过为每个输入查询从MCM中选择可靠的正负质心，可以减少标签噪声的影响。
2. 我们进一步提出了特定领域对比学习( DSCL )和二阶最近插值( SONI )，以获得对对比学习既可靠又有效的负样本，显著改善学习过程。
3. 我们的集成框架MCRN在多个UDA re - ID任务上显著优于当前最先进的方法。此外，在完全无监督的re - ID任务上的大量实验一致地证明了我们的方法优于以前的方法。

总结:

       在这项工作中，我们提出了一个统一的框架，多质心表示网络( MultiCentroid Representation Network，MCRN )来解决无监督域自适应行人重识别任务。为了缓解标签噪声的影响，我们提出了多中心内存( MultiCentroid Memory，MCM )来捕获更多的身份信息，并为每个输入查询选择可靠的正(反)例样本。为了学习更有判别力的特征表示，我们提出了领域特异性对比损失( Domain-Specific Contrastive Loss，DSCL )来充分挖掘域内信息，以及二阶最近插值( Second-Order Nearest插值，SONI )来丰富目标领域查询的信息硬负样本。大量实验证明了我们框架的有效性。

本文内容来自于论文：Multi-Centroid Representation Network for Domain Adaptive Person Re-ID