[行人重识别]Online Pseudo Label Generation by Hierarchical Cluster Dynamics for Adaptive Person Re-id

摘要：自适应人员重新识别（adaptive ReID）的目标是将学到的知识从标记的源域转移到未标记的目标域。基于伪标签的方法，可以替代地生成伪标签并优化训练模型，在该领域已经显示出极大的有效性。然而，生成的伪标签不准确，无法反映未标记样本的真实语义含义。我们认为这种不准确性源于伪标签的滞后更新以及所采用聚类方法的简单标准。为了解决这个问题，我们提出了一种通过分层聚类动力学在线伪标签生成自适应ReID。具体而言，为数据集中的所有样本构建了分层标签库，并在每个即将到来的小批量中更新样本的伪标签，同时进行模型优化和标签生成。为标签更新构建了新的分层集群动态，其中集群合并和集群拆分由标签传播计算的可能性驱动。该方法可以实现更好的伪标签和更高的 reid 精度。在Market-to-Duke、Duke-to-Market、MSMTto-Market、MSMT-to-Duke、Market-to-MSMT和Duketo-MSMT上的大量实验验证了我们提出的方法的有效性。

Figure 1：通过分层聚类动力学进行在线伪标签细化的示意图。不同的颜色代表不同的簇。分层标签从低级别到高级进行细化。在每个级别中，集群按顺序（从左到右）进行拆分和合并过程。对于h-th级的簇分割，（h − 1）-th级的簇作为不可分割的分割单元。对于 h 级的集群合并，（h+1） 级的集群提供了一个合并边界，用于限制可以合并的集群候选项。然后利用标签传播在统一的框架中拆分和合并集群。

具体来说：

为了实现在线伪标签生成，我们构建了一个特征库和一个分层标签库，分别用于存储和更新所有未标记数据的特征和伪标签。给定小批量样本的编码特征，特征库中的相关样本特征将进行动量更新，并通过合并到现有聚类或拆分为新聚类来优化相应的标签。合并和拆分操作是通过在一组聚类之间以聚类到样本或样本到样本的亲和力在一组聚类中传播伪标签来实现的，在我们的论文中称为“聚类动力学”。聚类动力学以迭代方式进行，以形成分层伪标签进展（如图 1 所示）。分层标签细化结构也被证明可以有效地捕获真实图像的复杂特征分布。与生态系统中的共生性类似，引入的聚类动态和分层级的伪标签可以正确捕捉特征空间中的瞬时和多样化分布变化，从而提高自适应ReID的性能

贡献具体如下：

（1）我们首次引入了自适应ReID的伪标签在线生成和更新，其中特征学习和伪标签生成同时进行。（也有交替进行的方法）

（2）提出了一种新型的聚类动力学方法，在自下而上的层次结构中实现伪标签的迭代进展和细化。

（3）在多个自适应ReID基准上的大量实验证明了我们的方法正确捕获变化和细粒度特征分布的优越性。

离线和在线聚类的区别：

伪标签生成 典型的伪标签生成可分为两类：离线伪标签生成和在线伪标签生成。传统的聚类方法，如K-Means[33]、光谱聚类[40]和DBSCAN[11]都属于离线伪标签生成，并且依赖于对数据分布的某些假设，如凸形、相似大小或相同密度的聚类。最近，一些离线但基于神经网络的方法[5,19,52,51,18]被提出从训练样本中感知数据分布，因此他们通过放松对强手动假设的放松来改进传统算法。虽然离线聚类在稳定空间中实现了最先进的特征，但它们并不是自适应ReID的最佳解决方案，特别是考虑到网络优化导致的特征分布变化。

Figure 2：拟议框架的说明。小批量由相同数量的源图像（黄色）和目标图像（蓝色）组成。特征库 B 通过提取的特征以动量方式更新。对于在线伪标签生成，我们首先将提取特征的标签指定为最近邻的标签，并尝试拆分/合并包含新特征及其最近相邻特征的聚类（蓝色实心圆圈被破折号蓝色圆圈包围）。我们在每个级别中通过拆分-合并序列实现分层标签细化。在顶部标签库中生成的伪标签被输入到对比损失中。

基于伪标签的对比损失方法：

其中 z+ 表示 f 的正类原型。如果 f 是源域要素，则 z+ = wk 是 f 所属的源域类 k 的中心。如果 f 属于第 k 个目标域聚类，则 z+ = c+ k 是第 k 个聚类中心。此外，τ 是经验设置为 0.05 的温度，ns 是源域类的数量，nt 是目标域簇的数量。特征库由ImageNet预训练模型提取的特征初始化，并以动量方式更新

在线伪标签生成：

我们将一种新的在线伪标签生成机制纳入对比学习框架，其中伪标签生成与模型优化同时执行。整体框架如图 2 所示。具体而言，每个批次中的训练样本都是从源域 Ds 和目标域 Dt 中采样的。这些样本中新提取的特征用于以动量方式更新特征库 B。小批量中的目标域样本包括馈入分层标签库 H。利用 B 中提供的特征嵌入，传入样本在分层库的每个级别（由聚类动力学表示）中经过一系列合并和拆分操作，最终获得可靠的伪标签。基于B中的特征和H中的标签，优化了方程1中的损失函数。补充材料中介绍了我们所提方法的伪代码。

Figure 3：动态集群优化中的集群拆分和合并图示。黄色圆圈表示包含提取要素的单位。（a） h级簇分裂。蓝色圆圈表示 （h − 1） 级中属于同一簇的其他分裂单元，黄色圆圈位于 h 级。红色、黄色和绿色圆圈表示按密度峰选择的锚定单元。在拆分簇阶段中，浅黄色和浅绿色中的箭头表示非锚定单元合并到相应的锚定单元中。（b） h级集群合并。蓝色圆圈表示 h 级的不同单元，但属于 （h+1） 级的同一簇，即合并边界内的单元。如果方程 2 获得的概率大于阈值σ，则合并聚类。

层次标签Bank：

在聚类过程中，它服从一个簇保持性质。也就是说，在低水平上属于同一类别的样本也应该在较高水平上属于同一类别。基于这个性质，我们在层次标签库的不同层次上执行一系列的clustersplit和簇融合操作。具体来说，为了在( h + 1 )级中分割一个簇，我们将合并操作后的h级簇作为基本单元，并通过标签传播来判断它们是否仍然属于同一簇。这样，在( h + 1 )级中的一个簇就会被破坏，如果基本单元不像在同一个簇中那样健壮。类似地，为了合并第h层的簇，我们只尝试合并属于第( h + 1 )层的簇。标签传播后属于同一簇的可能性较高的簇将合并为一个簇。第h层银行Yh上伪标签的更新与相邻层次Yh - 1和Yh + 1的聚类结果密切相关，保证了在线伪标签生成的鲁棒性。

Cluster Dynamics(集群动力学):

我们现在深入探究第h层的集群动态细节，其中集群分裂和集群合并是在统一的框架中通过标签传播进行的。标签传播。我们方法中的标签传播用于计算两个样本/簇属于同一类别的可能性。它是一个迭代算法，并且具有闭式解：

式中：P⋅= ( p1 , p2 , ... , pn)∈Rn × K为标签传播的结果，n为待分配标签的单元数，K为n个单元可能属于的类数。对于第i个单位，结果pi = ( pi , 1 , ... , pi , K)，其中pi，j是第i个单位取标号j的概率. Y0∈Rn × K是我们将在聚类合并和聚类分裂中具体定义的初始标签概率。S∈Rn × n为归一化后的亲和度矩阵[ 32 ]。

Cluster split(聚类分裂)：

在第h层，簇分裂将一个簇Ch i划分成小的簇。分裂单元是包含在第( h - 1 )层的团簇，这些团簇包含了Ch i中的样本。我们将这些团簇记为Oh - 1i = { Ch - 1i，1，Ch - 1i，2，..，Ch - 1i，n }，其中n是团簇的个数.在oh - 1i = { ch - 1i，1，ch - 1i，2，..，ch - 1i，n }中收集相应的中心特征。为了分割簇Ch i，我们首先从oh - 1i中选择K个锚点样本，然后利用标签传播将{ 1，..，K }的标签分配给oh - 1i中的中心。因此Oh - 1i中的团簇会有不同的标记。Ch i中的样本最终借用Oh - 1 i中的标签完成聚类划分。

Cluster merge(聚类合并):

在第h层，聚类合并的目的是将极有可能属于同一语义类的小聚类进行合并。为了满足簇保持性质，第h层需要合并的簇应该属于第( h + 1 )层中的同一个簇。假设第h层有n个簇，属于第( h + 1 )层的同一个簇Ch + 1i。这些簇表示为Oh i = { Ch i，1，Ch i，2，..，Ch i，n }，相应的中心特征表示为oh = { ch i，1，ch i，2，..，ch i，n }。为了合并Oh i中的簇，我们首先利用标签传播来计算两个单元属于同一类的可能性，然后使用阈值σ来确定它们是否应该合并。因此Oh i中的一些簇将获得相同的标签来完成.

实验结果：

总结：

伪标签噪声是基于聚类的自适应行人重识别方法进一步改进的瓶颈之一。在本文中，我们考虑这种标签噪声来源于伪标签的滞后更新和所采用的聚类算法的简单准则。我们提出了一种具有层次聚类动态的在线标签生成方法，用于自适应行人重识别。通过在线生成标签，我们对即将到来的小批量样本的标签进行细化，同时对网络进行优化。利用层次聚类动态，我们在一个自下而上的框架中对聚类进行拆分和合并，捕获多样化和复杂的特征分布。在各种行人重识别数据集上的大量实验验证了我们提出方法的有效性。

本文来自论文：Online Pseudo Label Generation by Hierarchical Cluster Dynamics for Adaptive Person Re-identification