reid的无监督调研

跨域无监督学习

此类方法旨在如何以无监督的方式将预先训练好的模型从源域有效地传递到目标域49],一般情况下,直接将在源域中训练的模型应用到目标域,由于两个域之间存在一定差异,会导致效果不理想,而无监督的跨域方法会减小这种域差异,使得源域的模型也可以有效地用于无标签的目标域。

伪标签法

1. 文献[50]提出的PUL (Progressive Unsupervised Learning )2018

使用预训练的模型从未标记的目标域训练集中提取图像特征,然后使用K-means聚类算法对这些特征聚类,再从这些类中选择可靠的样本对原始模型进行微调,随后使用这个新模型来提取特征,并开始另一次迭代训练。如此迭代学习可以使得模型最终从不可靠的聚类结果中提取出可靠的特征信息。

• PUL: [50] FAN H H, ZHENG L, YAN C, et al. Unsupervised person re-identification: clustering and fine-tuning[J]. ACM Transactions on Multimedia Computing. Communications. and Applications. 2018. 14(4): 83

2. 文献[51提出的**ARN (Adaptation and Re-identification Network)**框架2018

利用数据集之间的信息来学习域不变特性,通过域不变特性来进行跨域行人匹配。

• ARN [51] LIY J. YANG F E. LIU Y C. et al. Adaptation and re-identification network: An unsupervised deep transfer learning approach to person re-identification[C]/Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway: IEEE, 2018: 172-178

3. 文献[52]提出一种聚类和动态采样(Clustering and Dynamic Sampling, cDS)方法2019

为了提高CNN模型在源域上提取判别特征的能力, CDS利用行人属性来加强源域模型的训练,然后对目标域样本进行迭代聚类,动态选择目标域中的信息样本对源域模型进行微调(Fine-uning)

• [52] WU JL, LIAO S C, WANG X, et al. Clustering and Dynamic Sampling Based Unsupervised Domain Adaptation for Person Re-ldentification[C]/Proceedings of the 2019 IEEE International Conference on Multimedia and Expo. Piscatawav: IEEE. 2019: 886-891

UDA无监督域自适应方法(Gan)

近年来,无监督域适应(Unsupervised Domain Adaptation, UDA) 53,54)是机器学习领域所研究的一个热点,该类问题的任务是在有标签的源域数据集上训练的模型应用在另一个任务相关却特征分布不同的目标域数据集(53],

然而,现有的无监督域自适应方法大多基于跨域类标签相同的假设,而不同的Re-ID数据集的人身份是完全不同的。因此,许多无监督域适应方法53, 54不能直接用于行人再识别任务。一些行人再识别的域适应方法55,56,57,53,用Gan来对不同数据集之间的样本进行图像迁移,即将源域图像转换为目标域图像的样式风格并保持人物身份不变,然后使用转换后的图像来训练模型。

1 文献[55)提出了数据集之间的行人迁移模型PTGAN (PersonTransfer Generative Adversarial Network)

使用了与CycleGAN601相似的网络结构,可以有效减小数据集之间的域差异。

• [55] WEI LH. ZHANG S L. GAO W. et al. Person transfer gan to bridge domain gap for person reidentification[C//Proceedinas of the 2018 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE, 2018: 79-88.

2 文献[56] Camera style和LSR（CycleGAN）

上一篇文献[55] PTGan为了解决领域自适应问题只考虑了域间的摄像机差异,而文献[56]不仅考虑了域之间的摄像机差异性,还考虑了域内不同相机间的差异性,其使用基于CycleGAN1601所提出的Camstyle (Camera Style)方法来训练两两相机之间的转换模型

同时采用了标签平滑正则化(Label Smooth Regularization, LSR) ,减小有噪声的生成样本所带来的过拟合风险。

这些使用CycleGANI601的跨域行人再识别方法在迁移过程中确保了相机风格改变、行人身份不变。然而, CamStyle方法[561使用多达28个CycleGANI601模型来训练多个摄像机对之间的样式转换,因此该方法复杂度高,训练模型困难。

• [56] ZHONG Z. ZHENG L. ZHENG Z D, et al. Camera style adaptation for person edentificationjC//Proceedings of the 2018 IEEE Conference on Computer Vision and pattern Recognition.Piscataway: IEEE. 2018: 5157-5166.

3 文献[57]提出了基于StarGAN161的多摄像机迁移GAN (Mult-Camera Tansfer GAN, CTGAN)

该方法只需要训练一个GAN模型,就可以将源数据集中的图像转换为目标数据集中每个摄像机的样式,并使用**SCDA (Selective Convolutional Descriptor Aggregation)**方法[62]去除背景噪声,保留有用的深度特征。

• [57] ZHOU S R. KE M L. LUO P Multi-camera transfer GAN for person re-identification[J]. Journal of Visuall Communication and Image Representation. 2019. 59: 393-400.

4 文献[58]CRGAN (Context Rendering GAN）(预测伪标签)

在以往基于GAN的跨域方法中,域转移后得到的图像一般只具有一种或者几种预定义的样式, 为了改进这一缺陷, 提出了一种实例引导上下文生成图像的方法,通过设计一个成对的条件GAN即CRGAN (Context Rendering GAN) ,实现了用一个源域的行人图像来生成具有目标域中N中背景的N张图像,用这种方法得到的新数据集不仅有标签信息(来自源域的行人ID标签) ,而且具有目标域中丰富的样式信息,以此可以对无标签的目标域实现有监督Re-ID模型训练。GAN技术在行人再识别领域除了可以用于跨域无监督方法之外,还可以用于单纯的数据增强[63]、学习行人不变特性[64]等。

• [58] CHEN Y B. ZHU X T, GONG S G. Instance-guided context rendering for cross-domain person re-identification. lCI/Proceedings of the 2019 IEEE International Conference on Computer Vision. Piscataway: IEEE.2019: 232-242.
• [63] ZHENG Z D, ZHENG L, YANG Y. Unlabeled samples generated by GAN improve the person re-identification baseline in vitro[C/Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway: IEEE, 2017: 3754-3762
• [64] ZHANG CY, WU L, WANG Y. Crossing generative adversarial networks for cross-view person re-dentification.[J]. Neurocomputing, 2019, 340: 259-269.

UDA 非Gan 利用属性信息监督

TJ-AIDL（Transferable Joint Attribute-Identity Deep Learning），可以同时学习全局的身份信息与局部的属性信息，该模型可以被转移到任何无标签的目标域中进行行人再识别的无监督域适应任务。文献[66]也同样利用属性信息来丰富行人特征，以促进实现行人再识别的无监督域适应任务。