综述6 | 跨域的行人重识别问题

1. Domain Adaptation 问题

单域（single-domain）的行人重识别（ReID）近来已经取得了巨大的进展，但是在跨域（cross domain，或者迁移 transfer）问题上却存在很大的困难。

主要体现在直接把训好的模型用在目标域（target domain）测试，性能有巨大的下降。例如目前在Market1501上Top1最高可以达到95%以上的模型，直接用于非同源任务，如DukeMTMC-reid，Top1往往不到40%

这在机器学习领域普遍存在。而考虑到ReID领域相对较小的数据集和较单一的场景，这个问题就格外严重了。

2. cross-domain reid

训练集来自于source domain，而测试集来自target domain，两个数据集之间通常存在显著的域间间隔domain gap。例如，

• 公开数据集Market-1501采集在夏天国内校园，行人多着短袖、色彩也相对鲜明；
• 而DukeMTMC-reID采集于冬季国外校园，行人多着厚重冬装、色彩也相对暗沉。

这种显著的着装风格差异塑造了两个数据集之间的domain gap，并降低模型在这两个数据集之间跨域使用的准确率，对模型的泛化能力提出了很高的要求。

3. 当前的解决方法

• source domain向target domain风格迁移。该方案直截了当，希望能够把训练样本（source domain）风格迁移到测试集（target domain），在原始图像层面，减小domain gaps。这类方法大多需要依赖生成对抗网络（GAN）来实现风格迁移——给定sourcedomain的图像，GAN的生成器尝试将其转换成targetdomain 的图像、以假乱真；而GAN的鉴别器则试图区分生成图像的伪造本质。生成器与鉴别器在这样一个左右手互搏下共同提高。

CVPR2018 中，两篇工作就使用了这样的方案，分别是
① Image-ImageDomain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity forPerson Re-identification

② Person Transfer GAN toBridge Domain Gap for Person Re-Identification

• target domain内部的风格迁移。另一些研究表明，不直接在source domain和target domain之间进行风格迁移，而是在target domain内部进行细粒度的风格迁移同样也能提高模型在target domain的泛化能力。

ECCV2018
Generalizing A Person Retrieval Model Hetero- and Homogeneously

• 在target domain进行无监督学习。上述两种方法牵涉到图像层面的风格迁移，都必须依赖GAN来实现。而2019年CVPR两篇工作中，舍弃了GAN，它们的共同特点是在target domain引入一些无监督学习任务，提高模型在target domain的泛化能力。

“Invariance Matters Exemplar Memory for Domain Adaptive”
“Unsupervised Person re-identification by Soft Multi-label Learning”是CVPR2019 Oral paper

• 在target domain进行辅助的监督学习。虽然目标域上没有行人ID标签，无法进行有监督的行人特征学习，但是并不妨碍引入一些辅助学习任务——这些附加的学习任务并不需要行人ID标签。

EANet: Enhancing Alignment for Cross-Domain PersonRe-identification

参考链接：https://zhuanlan.zhihu.com/p/77186920