Unsupervised Cross-Dataset Person Re-Identification by Transfer Learning of Spatial-Temporal Pattern

Unsupervised Cross-Dataset Person Re-Identification by Transfer Learning of Spatial-Temporal Patterns （2018）阅读笔记

对于无监督学习，华南大学吕建明、杨灿等人提出了基于时空模型无监督迁移学习的行人重识别，解决的目标是跨数据集的Person Reid。方法是多模态数据融合+迁移学习（CVPR 2018）

Introduce

多数所提出的人员重新识别算法都对单标签数据集进行了有监督的训练和测试，因此，将这些训练后的模型直接部署到大规模的现实世界相机网络可能会因拟合不足而导致性能不佳。通过使用从目标域收集的大量未标记数据来逐步优化模型具有挑战性。为了解决这一挑战，文章提出了一种无监督的增量学习算法TFusion，该方法通过目标域内行人时空模式的迁移学习来实现。

Contribution

1.提出了一种新颖的方法，通过迁移源数据集中的视觉分类器来学习未标记目标数据集中行人的时空格局。该算法不需要有关相机空间分布的任何先验知识，也不需要有关人们在目标环境中如何移动的任何假设。
2.提出一种贝叶斯融合模型，该模型将学习的时空模式和视觉特征相结合，以在未标记的目标数据集中实现高性能的行人Re-ID。
3.提出了一种基于学习排名的相互促进程序，该程序使用融合分类器通过对未标记数据集的排名结果来更新较弱的视觉分类器。这种相互学习的机制可以应用于许多领域适应问题。

Structure

该模型的架构如图所示，具体步骤如下
步骤（1）：在标记的源数据集中进行监督学习。在此热身初始化步骤中，我们采用有监督的学习算法，例如以从可用的带标签的小型源数据集中学习视觉分类。在以下步骤中，需要进一步优化，以将C应用于大型未标记目标数据集中。
（C的网络架构如图，该网络采用了暹罗方案）

两个特征向量的余弦相似度表示：
步骤（2）：在未标记目标数据集中进行时空模式的迁移学习。 在这一步中，我们将分类器C迁移到未标记的目标数据集中，以了解目标域中行人的时空模式。
时空模式可以定义为：
步骤（3）：目标数据集的融合模型。提出了一种贝叶斯融合模型F来结合视觉分类器C和最新学习的时空模式，用于对行人图像进行精确判别。
步骤（4）：学习分类器递增优化的方案。在这一步骤中，我们利用融合模型F根据学习排名方案进一步优化视觉分类器C。首先，给定任何监视图像Si，根据与Si的相似性，应用融合模型F对未标记目标数据集中的图像进行排名。如下图所示。其次，排名结果被反馈，逐步训练视觉分类器。

可以重复步骤（2）~（4）迭代更新模型，直到迭代次数达到给定阈值或分类器的性能收敛为止。这样，所有视觉分类器C，融合模型F和时空模式都可以实现协同优化。

Experience

在实验中，文章选择了四个广泛使用的基准数据集，包括GRID，Market1501，CUHK01和VIPeR。评价指标使用rank-1准确率进行实验评估。
TFusion的精度与最新的无监督传输学习方法进行比较：

在所有测试用例中，TFusion在很大程度上要优于UMDL。特别是在目标数据集为“ GRID”的情况下，TFusion的表现非常出色，TFusion模型的性能优于“GRID”上最新的监督算法。甚至无监督转移模型TFusion可以达到与有监督学习模型相当的性能。

Conclusion

在文章中，提出了TFusion作为一种高性能的无监督跨数据集人Re-ID算法。尤其是，以无监督方式学习，TFusion通过与行人的时空模式集成，将在小标签源数据集中训练的视觉分类器转移到未标签目标数据集中。此外，提出了一种迭代排名学习的方案，以基于未标记数据逐步优化模型。实验表明，TFusion大大优于最新的无监督跨数据集传输算法，并且在多个数据集中，与现有的有监督的学习算法相比，它也达到了相当甚至更好的性能。