Person Transfer GAN to Bridge Domain Gap for Person Re-Identification论文阅读

 

 

题目

Person Transfer GAN to Bridge Domain Gap for Person Re-Identification

摘要

本文提出了一种针对于ReID的生成对抗网络PTGAN，可以实现不同ReID数据集的行人图片迁移，在保证行人本体前景不变的情况下，将背景转换成期望的数据集style。另外本文还提出一个大型的ReID数据集MSMT17，这个数据集包括多个时间段多个场景，包括室内和室外场景，是一个非常有挑战的数据集。论文用PTGAN来缩小不同数据集间的domain gap，并在新提出的MSMT17这个大数据集和其他一些公开的小数据集上做了实验。

 

主要内容：

1.构建了一个行人再识别数据集MSMT17，数据采集时长180个小时，用了15个相机，12个室外，3个室内，包括多个时间段多个场景，使用Faster RCNN画bounding box.最终得到4101个行人，12644个bounding box.细节信息如下：

这个数据集的优点：涉及的行人多，场景真实有效（比原先的数据集更加复杂，以前的太过单一，没有考虑不同的灯光、分辨率、人种、季节、背景等）.

2.提出了PersonTransferGenerative Adversarial Network (PTGAN) 人物转移对抗网络（PTGAN） 目的是减小不同数据集之间的差异。

 

idea 来源  将数据集A中的图像转移到数据集B的风格，保持人的身份特征和外表不变

PTGAN 分为两个部分的损失

1）style loss  

 使用Cycle-GAN  

包括标准对抗损失 和 周期一致性损失

2）identity loss 先获取一个人的前景掩码，评估在人员迁移之前和之后的前景变化，前景提取方法是PSPNet，在具有运动前景和虚拟背景的视频监控数据中，可以应用更精确、更有效的前景提取算法。

 

论文剩下的部分在做实验，各种各样的实验，包括多个其它的数据集等等

 

包括现在的多种行人再识别方法在MSMT17上的表现，以及验证PTGAN确实减少了不同数据集之间的domain gap.