Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation
当前的问题及概述:
本文针对1,在feature embedding中,以往的工作通常经过GAP和全连接层,输出的是二维向量(如1×1×2048),不能保持很好的空间特征,人类在比较两个相似物体时通常会注意到它们之间的差异这一特点,提出了一种双路径交叉模态特征学习框架。
该框架由两个主要部分组成:Dual-path Spatial-structure-preserving Common Space Network(DSCSN)和Contrastive Correlation Network(CCN)。前者在不丢失空间结构的情况下将交叉模态图像嵌入到一个普通的三维张量空间中,而后者通过动态比较输入图像对提取对比特征。
模型及loss:
本文提出的框架主要由两部分组成:双路空间结构保持公共空间网络(DSCSN)和对比相关网络(CCN)。具体地说,DSCSN利用部分共享结构,同时对模态特征信息和模态共享信息进行建模,学习RGB-IR结构共同空间特征,在不丢失空间结构的情况下将交叉模态图像嵌入到一个普通的三维张量空间中。CCN是通过关注两个相似对象的差异来模拟学习机制。
1 Dual