SpCL阅读笔记：Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

行人重识别（ReID）系列文章目录

前言

论文链接
github源码
OpenUnReID
本人对行人重识别的记录，在针对对象re-ID（包括人员re-ID和车辆re-ID）的无监督域自适应任务和无监督学习任务上均实现了SOTA的性能。

一、Abstract

领域自适应对象re-ID的目的是将学习到的知识从带标记的源域转移到未带标记的目标域，解决开放类的再识别问题。尽管基于伪标签的方法取得了很大的成功，但由于领域差异和聚类性能不佳等原因，这些方法并没有充分利用所有有价值的信息。为了解决这些问题，我们提出了一种新的具有混合记忆的自定速度对比学习框架。混合内存动态生成源域类级、目标域集群级和未集群实例级的监控信号，用于学习特征表示。与传统的对比学习策略不同，该框架联合区分源域类、目标域簇和非簇实例。最重要的是，所提出的自定速度方法逐渐创建更可靠的簇来细化混合记忆和学习目标，并被证明是我们出色表现的关键。我们的方法在对象re-ID的多个领域适应任务上优于现有的水平，甚至在没有任何额外注释的情况下提高了源领域的性能。在Market 1501和MSMT17基准中，我们的一般化版本的无监督对象re-ID超过了最先进的算法16.7%和7.9%。

二、Introduction

目标再识别的无监督域适配(UDA)是将已学习到的知识从已标记的源域(数据集)中转移到未标记的目标域(数据集)中，以正确度量实例间的亲和性。公共对象re-ID问题包括person re-ID和vehicle re-ID，其中源域和目标域数据不共享相同的标识(类)。针对对象re-ID的现有UDA方法，通常通过两阶段的训练方案来解决这个问题:(1)在源域进行有监督的预训练，(2)在目标域进行无监督的微调。对于第2阶段的无监督微调，一种基于伪标签的策略被发现在最先进的方法中是有效的，该策略在通过聚类目标域实例生成伪类和用生成的伪类训练网络之间交替进行。这样，源域预训练网络就可以适应在伪类标签有噪声的情况下捕获目标域内的样本间关系。

尽管基于伪标签的方法带来了巨大的性能进步，但我们认为存在两个主要的限制因素阻碍了它们的进一步改进(图1 (a))。(1)在目标域微调过程中，源域图像要么未被考虑，要么由于其方法设计的局限性，甚至会对[14]的最终性能造成损害。准确的源域地面真值标记是有价值的，但在目标域训练中被忽略了。(2)由于聚类过程中可能会产生单个的离群值，为保证生成的伪标签的可靠性，现有方法[11,10,55,14]简单地将离群值丢弃，不再用于训练。然而，这些异常值实际上可能是目标域中困难但有价值的样本，特别是在早期阶段，通常有很多异常值。简单地放弃它们可能会严重损害最终的性能。

为了克服这些问题，我们提出了一种混合存储器来编码所有来自源域和目标域的可用信息来进行特征学习。对于源域数据，它们的ground-truth类标签自然可以提供有价值的监督。对于目标域数据，可以进行聚类，得到相对自信的聚类和未聚类的离群值。混合存储器中的所有源域类中心、目标域集群中心和目标域非集群实例特征都可以为共同学习跨两个域的鉴别特征表示提供监控信号(图1 (b))。开发了一个统一的框架，用于动态更新和区分所提出的混合存储器中的不同项。

具体来说，由于所有目标域集群和未集群实例都被平等地视为独立类，因此集群的可靠性将显著影响学习到的表示。因此，我们提出了一种自定速度的对比学习策略，该策略通过使用具有最可靠目标域簇的混合记忆来初始化学习过程。用这些可靠的聚类训练后，可以逐步提高特征表示的识别力，并通过在新的聚类中加入更多的未聚类实例，可以形成更多可靠的聚类。该策略可以有效地缓解伪标签噪声的影响，提高特征学习的效率。为了正确地度量聚类的可靠性，提出了一种新的多尺度聚类可靠性准则，在此准则的基础上，只保留可靠的聚类，而将混乱的聚类分解成不完整的聚类实例。通过这种方式，我们的自定速度学习策略逐渐创建了更可靠的簇来动态地细化混合记忆和学习目标。

我们的贡献概括为三个方面。(1)我们提出了一个统一的对比学习框架，将源域和目标域的所有可用信息纳入到联合特征学习中。它动态更新混合内存，以提供类级、集群级和实例级的监督。(2)设计了一种带有新的聚类可靠性准则的自定进度对比学习策略，以防止伪类标签噪声导致的训练误差放大。它逐渐生成更可靠的目标域聚类，用于学习混合记忆中更好的特征，进而提高聚类。(3)我们的方法在对象re-ID的多领域适应任务上显著优于最新研究[11,54,10,55,45]，最多可获得5.0%的地图增益。通过联合训练未注释的目标域数据，提出的统一框架甚至可以提高源域(6.6%)上的性能，而大多数现有的UDA方法在对目标域进行微调后“忘记”源域。就mAP on Market-1501和MSMT17的基准测试而言，我们的无监督版本在对象re-ID任务上没有标记源域数据的情况下，显著优于最先进的版本16.7%和7.9%

Related Works

Unsupervised domain adaptation (UDA) for object re-ID. 现有的用于对象re-ID的UDA方法主要分为两大类，即基于伪标签的方法和基于域转换的方法。本文采用了前一种方法，发现伪标签更有效地捕捉目标域分布。以往基于伪标签的方法虽然动机不同，但一般采用两阶段的训练方案:(1)在有ground-truth id的源域进行预训练，(2)适应带有伪标签的目标域。伪标签可以由聚类实例特性或度量范例特性的相似性来生成，其中基于聚类的管道保持了迄今为止最先进的性能。基于聚类的方法面临的主要挑战是如何提高伪标签的精度以及如何减轻伪标签噪声带来的影响。SSG[10]采用人类局部特征来分配多尺度伪标签。过去的[55]引入了交替使用多个正则化。MMT[11]提出通过互均值教学产生更强鲁棒性的软标签。AD-Cluster[54]加入了风格转换的图像，提高了实例特征的识别力。虽然各种尝试沿着这个方向导致伟大的表现进步,他们忽略了充分利用所有有价值的信息在两个域,限制了他们的进一步改进,例如,他们只是丢弃又源领域标记图像和目标域非集群状态异常值在微调模型在目标域与伪标签

Contrastive learning. 最先进的无监督视觉表示学习方法是基于对比学习的。将其分为字典查找任务[48,17]和一致性学习任务[44,4]，采用对比丢失法，将每个未标记的样本作为一个不同的类来学习实例区分表示。虽然实例级对比损失可以用于训练嵌入，可以很好地推广到经过微调的下游任务，但它在需要正确度量无监督目标域上类间亲和力的领域自适应对象重构任务上表现不佳。
Self-paced learning “易到难”的训练方案是自定进度学习的核心，它最初被发现在有监督的学习方法中是有效的，特别是在有噪声标签的情况下。最近，一些方法通过使用最自信的伪标签开始训练过程，将自定进度学习的概念融入到无监督学习任务中。但这些方法设计的自定速策略都是基于类预定义的封闭集问题，不能推广到目标域中类完全未知的开放集对象re-ID任务。此外，他们没有考虑如何合理地训练那些不能一直被赋予自信伪标签的硬样本。

Methodology

为了解决对象reid上的无监督域适应(UDA)问题，我们提出了一个自定速度的对比学习框架(图2 (a))，该框架由一个基于CNN[22]的编码器f校验和一种新型混合存储器组成。该框架的关键创新在于与源域类级、目标域簇级和目标域非簇实例级监督共同训练编码器，并在混合内存中动态更新，逐步提供更可靠的学习目标。为了避免由于聚类的噪声而导致训练误差的放大，自适应学习策略以最可靠的聚类初始化训练过程，并逐步纳入更多未聚类的实例，形成新的可靠的聚类。引入了一种新的可靠性准则来度量簇的质量(图2 (b))。
我们的训练方案之间交替进行两个步骤:(1)又将目标域样本分组为集群和非集群状态实例集群目标领域实例特性的混合记忆与自学策略(3.2节),和(2)优化编码器fθ统一对比损失和动态更新混合记忆编码特性(3.1节)。

构建和更新混合记忆用于对比学习

对于目标域训练样本X t，我们采用自定速聚类策略(第3.2节)将样本分组为聚类和未聚类的离群点。整个训练集的领域因此可以分为三个部分,包括源领域样本X年代真实身份标签,在目标域pseudo-labeled X tc在目标领域实例集群和数据不属于任何集群,例如,X t = X tc∪X。最先进的UDA方法[11,54,10,55]简单地放弃了所有源域数据和目标域非集群实例，只使用目标域伪标签使网络适应目标域，在我们看来，这是一种次优解决方案。相反，我们设计了一种新的对比损失，通过将所有源域类、目标域集群和目标域未集群实例作为独立类来充分利用可用数据。

统一的对比学习