[行人重识别论文]Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object

摘要：无监督的目标重识别旨在学习具有判别性的表示，以便在没有任何标注的情况下进行目标检索。基于聚类的方法[ 27、46、10 ]利用生成的伪标签进行训练，目前在该研究方向占据主导地位。然而，它们仍然受到伪标签噪声问题的困扰。为了应对这一挑战，我们提出在具有聚类一致性的连续训练代之间适当地估计伪标签相似度，并使用时间传播和集成的伪标签来细化伪标签。据我们所知，这是第一次尝试利用时态集成[ 25 ]的精神来改进分类，使分类随着世代的变化而动态变化。所提出的伪标签精炼策略简单有效，可以无缝集成到现有的基于聚类的无监督重识别方法中。通过我们提出的方法，在具有挑战性的MSMT17 [ 39 ]数据集上，最先进的方法[ 10 ]可以得到高达8.8 %的mAP改进。

Figure1: 对所提出的基于聚类共识的精化伪标签( RLCC )框架进行说明。上一代t - 1的硬伪标签或软伪标签置信度可以在时间上传播到第t代，以有效地改进第t代的伪标签，从而显著地提高无监督目标再识别的性能

核心思想：我们使用样本标签分配上的交并比( IoU )准则来估计连续两代上的伪标签相似性，其中较大的值表明连续两代中两个伪类之间具有较高的一致性。为了利用伪标签编码的有价值的时序知识，我们提出将上一代的硬或软伪标签传播到当前一代。传播是通过伪标签上的随机游走进行的，由交叉生成的伪标签相似性引导。给定时间传播的标签，当前生成的噪声伪标签可以通过动量平均公式进行适当的精化。我们提出的精化伪标签可以很容易地集成到现有的基于聚类的无监督重ID方法[ 27、46、10 ]中，并进行边际修改，即用提出的时间传播和集成的软伪标签替换传统的硬伪标签。

贡献：

1. 引入时间聚合的思想，对无监督对象重ID中的噪声伪标签进行正则化。值得注意的是，现有的时序集成技术[ 25、35 ]都是针对密集分布分类模型设计的，在我们的任务中并不适用。
2. 提出了一种简单而有效的伪标签精炼策略：在训练世代( epochs )上精炼具有聚类一致性的伪标签。我们提出的策略与现有的基于伪标签的方法[ 27、46、10 ]很好地兼容，并导致在已经很高的性能基线上的进一步改进。
3. 我们的方法在多个无监督对象重识别的基准测试集上超过了最先进的无监督方法SpCL [ 10 ]，mAP提升高达8.8 %。

Figure2：说明我们提出的基于训练世代的聚类一致性修正伪标签( Refining pseudo Labels with Clustering Consensus，RLCC )整体框架。伪标签在t - 1和t世代之间的相似性通过它们的聚类一致性来估计。对于每一个样本，其硬伪标号或第t - 1代的伪标号置信度都可以根据跨代伪标号相似度传播到第t代。从第t - 1代传播的伪标签可以有效地改进第t代的伪标签，从而提高无监督目标再识别的性能。

由于训练世代之间的标签集合不重叠，我们无法使用现成的时间集成技术将上一代的伪标签传播和聚合到当前世代。因此，我们提出首先通过聚类一致性来建立连续两代的伪标签Y ( t-1 )和Y ( t )之间的相似性。具体地，我们将上一代t - 1时刻伪标签为i的样本集记为I ( t-1 ) ( i )，其中i∈[ 1 , M ( t-1 )]。类似地，在当前代t，伪标号为j的样本记为I ( t ) ( j )，其中j∈[ 1 , M ( t )] .因此，聚类一致性矩阵C∈RM ( t-1 ) × M ( t )被用来存储连续两代样本集之间的交并比( IoU )准则。

其中| · |表示一个集合的样本数。直觉上，C( i , j)衡量的是上一代t - 1中的伪第i类与当前一代t中的伪第j类之间的一致性或相似性。在IoU计算之后，我们对原始共识矩阵C的每一行进行归一化，以满足∑j ( C( i , j) = 1 for all j )的约束条件。归一化函数可表示为

伪标签传播：

给定连续训练代之间估计的伪标签相似度，从第t - 1代开始的伪标签信息可以传播到第t代，以改进当前的伪标签。我们研究从第t - 1代传播两类伪标签信息，( 1 )硬伪标签和( 2 )软伪标签置信度，用于精炼第t代的伪标签Y ( t )。

( 1 )硬伪标签传播。在前一代t - 2网络的基础上，硬伪标签Y ( t - 1 )编码了大量样本间相似性的信息。给定t - 1代第k个样本的one - hot hard伪标记y ( t - 1 ) k∈Y ( t - 1 )，我们提出将其前一个标记传播到当前一代：

传播的标签( y ( t ) k∈RM ( t )与第t代的伪类数具有相同的维度。如果样本k的" ground-truth "伪标号为i，即当y ( t-1 ) k ( i ) = 1时，one - hot向量的第i个元素为1 .上述方程可得( y ( t ) k ( j ) = C( i , j)y ( t-1 ) k ( i ) .也就是说，传播样本k到当前类别j的伪标签由第t - 1代的伪类别i和第t代的伪类别j之间的跨代伪标签相似度C( i , j)决定。此外，由于C矩阵的每一行加总为1，传播到当前代的标签也将加总为1，以确保它们代表一个有效的监督置信向量，即∑j ( y ( t ) k ( j ) = 1

软伪标签置信度传播:

虽然硬伪标签携带了一些关于网络特征分布的有用信息，但是样本对伪标签的硬赋值使得它们对标签噪声的鲁棒性较差。 我们利用关键的洞察力，研究了从上一代t - 1到当前一代t的传播的软伪标号置信度。对于第k个样本xk∈X，给定上一代的网络f ( t-1 ) θ，可以得到第t - 1代样本对伪标签的分类置信度为f ( t-1 ) θ ( xk )∈RM ( t-1 )，其中模型的输出维度与第t - 1代的伪标签数量M ( t-1 )相匹配。与硬伪标签传播类似，基于提出的聚类一致性矩阵，样本k在第t - 1代的软伪标签置信度也可以传播到第t代。

其中，( y ( t ) k∈RM ( t )表示从t - 1代到t代传播的软伪标签。传播的直观性与硬伪标签传播的直观性类似。第t - 1代的软伪标号置信度可以根据C的跨代伪标号相似度传播到当前的第t代。C的行规范化性质保证了传播的标号之和始终大于1。与硬伪标签传播相比，关键的不同之处在于，应该保留上一代t - 1的模型，并使用它来生成软伪标签，以便在飞行中传播，但需要额外的计算成本。

结果：

结论：

伪标签噪声是阻碍基于聚类的无监督目标重识别方法[ 27、46、10 ]进一步改进的重要因素之一。为了解决这个问题，我们引入了带有时间传播和聚合软标签的噪声伪标签，这些标签可以很容易地集成到现有的方法中，并进行边际修改。由于在不同的训练代中标签集合是不同的，我们提出通过在连续的几代中随机游走来估计聚类一致性，以鼓励标签传播。我们的成功表明，时间集成结合所提出的伪标签置信度传播可以有效地减轻伪标签噪声，从而获得更高的性能。需要进一步研究如何更合理地利用更多世代的时间知识。