Cross-Modality Person Re-Identification with Generative Adversarial Training
目前的问题:
当前,面对这种跨模态问题,主要有两个困难:
1.RGB和红外模式之间缺乏识别同一人的区别信息
2.很难为这种大规模的交叉模式检索学习稳健的度量
为了解决识别信息不足的问题,本文设计了一种基于前沿生成对抗训练的鉴别器来学习不同模式下的鉴别特征表示。
为了解决大规模交叉模态度量学习的问题,本文将识别损失(identification loss)和交叉模态三重损失(cross-modality triplet loss)结合起来,使类间差异性最小化,同时使不同情况下的交叉模态相似性最大化。
网络框架及loss:
CmGAN网络框架包含生成器和鉴别器:从RGB和IR模式中提取的特征V和I分别输入全连接层,经GAP后生成2048维特征。然后,对生成器进行identification loss和cross-modality triplet loss的训练。最后,模态分类器起到鉴别器的作用来鉴别不同的模态。
Generator:包含两种loss函数,第一种为intra-class featu