Hierarchical Discriminative Learning for Visible Thermal Person Re-Identification
目前的问题:
现有的交叉模态匹配方法主要侧重于对交叉模态分布的建模,而VT-REID也存在由于摄像机视角不同而导致的交叉视图变化。下图可以看到,除了对同一ID的跨模态问题外,对摄像机拍摄同一ID的视角变化也是当前ReID的一个难点。
本文提出了一个分层的跨模态匹配模型,该模型通过联合优化模态特异性和模态共享矩阵来实现。模式特异性度量将两种不同的模式转换成一个一致的空间,从而可以随后学习模式共享度量。与此同时,特定于模态的度量将同一个人的特征压缩到每个模态中,以处理较大的模态内人的变化(例如视点、姿势)。此外,提出了一种改进的两流CNN网络来学习多模态可共享特征表示。
网络框架及loss:
本文提出的框架包括特征学习和度量学习两个阶段。前者的目的是学习多模态可共享的特征表示,通过一个具有identity loss 和contrastive loss的two-stream CNN网络来实现。后者侧重于判别匹配模态训练,分别使用特定模态的(V, T)和共享模态的(M)度量学习。
1.Feature Learning:
首先,two-stream CNN Network中,