共享与特定于域的跨模态论文

共享与特定于域特征结合的跨模态人员再识别论——Cross-modality Person re-identification with Shared-Specific Feature Transfer

智能视频监控中，面临着很大的监控挑战：如果白天还能够让摄像头清晰地捕捉到行人信息并且进行有效识别的话，那么晚上由于缺少光照，摄像头捕捉不到丰富的彩色信息，在这种情况下，夜晚的行人再识别就显得没有那么有效了。
一种跨越白天和黑夜的两种摄像头——RGB摄像头和IR摄像头监控方式逐渐兴起。很多摄像头也具有自动转换RGB和IR模式功能。本文作者提出一种在两种摄像头模式得到的图片中进行行人再识别的方法，并且发表了STOA的文章

首先上图
文章图2是对论文的整体模型进行的说明。
图片送入模型网络的batchsize大小为64，一个mini batch为8，其中RGB有4张，IR有4张。为了描述方便，在特定于域的模型流中，直接用RGB作为例子，IR的处理方法和RGB相同。
图片送入模型，首先经过conv1——为resnet50的第一层和第二层，输出为256维；在提取特定于域的特征时，进入conv2——resnet50的第三层和第四层，输出为1024维。作者后面有说到，Feat都是利用了BNNeck模块。

Hao Luo, Youzhi Gu, Xingyu Liao, Shenqi Lai, and WeiJiang. Bagoftricksandastrongbaselinefordeep person re-identification. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 0–0, 2019.

接着往下得到了Pr特征描述，特征维度为C，数量为N，也就是图2中给出的N*C的矩阵。
shared流和specific流的方法一样，模型结构完全相同，只不过是用来提取共享信息，对于RGB和IR得到了相同维度和大小的特征Hr，Hp。
这里的损失函数，文中报道的比较多，最主要的是交叉熵损失和三元组损失。

交叉熵损失函数计算模型出来的特征$H_i^m$和特征$P_i^m$属于某一个身份$y_i^m$的概率，交叉熵损失保证了学习到的特征能够具有判别力地表示原身份，同时，作者也添加了三元组损失，进一步保障了特征的判别力：
三元组损失：

single modality Triplet loss(smT)分别用RGB和IR模态的specific特征作为anchor（例如 P i R P_i^R P