[行人重识别论文]Group-aware Label Transfer for Domain Adaptive Person Re-identification

最新推荐文章于 2024-09-14 16:14:43 发布

xiyue-

最新推荐文章于 2024-09-14 16:14:43 发布

阅读量907

点赞数 13

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/m0_59713773/article/details/140403301

版权

摘要：无监督域自适应( UDA )行人重识别( ReID )旨在将在有标签的源域数据集上训练的模型适应到目标域数据集上，而不需要任何进一步的标注。大多数成功的UDAReID方法将基于聚类的伪标签预测与表示学习相结合，并以交替的方式执行这两个步骤。然而，这两个步骤之间的离线交互可能会允许有噪声的伪标签实质性地阻碍模型的能力。在本文中，我们提出了群体感知Label Transfer ( GLT )算法，实现了伪标签预测和表示学习的在线交互和相互促进。具体来说，标签迁移算法同时使用伪标签对数据进行训练，同时精炼伪标签作为在线聚类算法。它将在线标签精加工问题看作一个最优运输问题，探索将M个样本分配到N个伪标签的最小成本。更重要的是，我们引入群体感知策略为样本分配隐式属性组ID。在线标签精炼算法和群体感知策略的结合可以更好地在线修正噪声伪标签，缩小目标身份的搜索空间。Market1501→DukeMTMC ( 82.0 % )和DukeMTMC→Market1501 ( 92.2 % )的实验结果( Rank - 1准确率)表明了所提GLT的有效性。

Figure：说明了传统的方法和我们组感知的标签传递方法。在我们的方法中，每个实例被分配给多个粒度不同的原型来生成多组伪标签，然后对噪声多组伪标签进行在线精化。在精化的多组伪标签的指导下，我们的方法可以学习到一个编码数据语义多粒度结构的嵌入空间。

总结：

通过UDA - ReID的标签迁移方法，我们首次尝试将聚类和特征学习整合到一个统一的框架中。它可以在线修正预测的伪标签，以提高模型在目标域上的特征表示能力
我们提出了一种基于标签迁移的群体感知特征学习策略来细化多组伪标签，为提高表示学习的质量提供了良好的潜在伪标签群。
GLT框架在Market→Duke，Duke→Market，Market→MSMT，Duke→MSMT ReID任务上取得了显著的性能提升。即使对于有监督的学习方法，我们的算法也显著地缩小了差距。

Figure2: 我们的群体感知标签传递框架( GLT )的例子，其中群体感知标签传递模块和ReID模型交替优化，以实现准确的人员重识别的最终目标。在模型预训练阶段，我们在源域标注数据上对网络进行预训练。然后，在群体感知聚类阶段，我们使用多群组策略对未标记的目标数据执行聚类算法，并根据聚类结果分配多群组伪标签。在标签在线精化阶段，标签迁移算法将得到的标签精化问题视为一个最优运输问题，通过线性规划的Sinkhorn - Knopp算法[ 6 ]对多组伪标签进行精化。在联合微调阶段，我们使用精炼的多组伪标签来训练网络。在线方案中，阶段3和阶段4交替进行。

Prototype Prediction Problem：

我们的原型可以通过非参数原型分类器或参数线性分类器来实现。该优化可以看作是通过交叉熵损失来优化聚类分配概率，其中原型C表示线性分类器的可训练权重。通过K - means聚类，线性分类器在每个聚类中都有一组固定的权重作为表示的均值向量。

原型通过上面提到的非参数或参数方式进行学习。在这里，我们将介绍原型预测问题。首先，我们改写了eq的交叉熵损失。( 1 )通过将标签编码为后验分布q ( "一| xi)∈Q，由聚类算法生成：

式中：τ为温度参数。如果我们将后验分布q ( "一| xi) = δ ( "一一一")设定为确定性的，则此等式成立. ( 2 )类似于一般的交叉熵损失。我们可以使用一个非参数的原型分类器执行或一个参数线性分类器来更新原型。该损失函数是关于原型C和图像编码器参数θ的联合最小化

Online Refining Pseudo Labels via Label Transfer：

在基于聚类的UDA方法中，由聚类过程引起的不可避免的噪声标签会给网络训练带来负面影响。为了解决这个问题，我们提出了一种标签迁移方法，通过结合表示学习和聚类算法来纠正在线训练方案中的噪声伪标签。一般的流水线交替处理q和表示学习p的优化问题。然而，在表示学习中，由于抑制了这两个步骤的相互作用，单独的优化不能很好地生成准确的伪标签。为了使我们的方法在线化，我们尝试利用原型和群体概率来精化噪声伪标签。我们使用原型C计算精炼厂伪标签，使得一个批次中的所有实例都被原型等分。这种均分约束保证了在多个批次或整个数据集中不同图像的炼油厂伪标签是不同的，从而防止了每个图像具有相同伪标签的平凡解：

其中，每个样本xi恰好分配到一个标签，N个数据点在K个类中进行拆分，以缓解一个平凡解。受[ 1 ]的启发，他们通过限制矩阵Q属于可迁移原型来实现一个等价划分。我们还提出通过限制可迁移原型来调整他们的解决方案，使其在整个数据集上工作。

总结：为了解决UDA行人重识别问题，我们提出了一种新颖的框架，即群体感知标签迁移方法( GLT )，将准确的伪标签预测和有效的行人重识别表示学习结合在一个统一的优化目标中。这两个步骤在训练过程中的整体性和即时性的交互可以极大地帮助UDA人员ReID任务。为了实现这个目标，我们将在线标签优化问题视为一个最优运输问题，该问题探索了将M个样本分配给N个伪标签的最小成本。更重要的是，我们引入群体感知策略为样本分配隐式属性组ID。在线标签精炼算法和群体感知策略的结合可以更好地在线修正噪声伪标签，缩小目标身份的搜索空间。我们的方法不仅达到了最先进的性能，而且显著地缩小了行人再识别的监督和非监督性能之间的差距。