Visible Thermal Person Re-Identification via Dual-Constrained Top-Ranking
目录
Abstract
提出了一种双向双重约束损失的双流网络。具有两方面优势:
1)直接进行端到端特征学习,无需额外的度量学习步骤。
2)同时处理模态内(基于交叉熵的ID loss)和跨模态差异(基于RankingLoss设计的双向双重约束损失)。
Introduction
双流网络的浅层参数独立,以提取特定模态的信息,全连接层参数共享以学习embedding space。
然而,在跨模态差异和模态内差异同时影响的情况下,不同模态下同一行人的差异甚至可能大于不同行人之间的差异。如下图所示。现有的ReID方法无法很好地解决此问题。
故设计了双向双重约束损失,该损失同时考虑到两个方面:
a)跨模态约束:锚点到其最远的另一模态正样本(锚点同一行人)的距离比锚点到其最近的另一模态负样本(锚点不同行人)距离小于预定义margin。
b)模态内约束:在相同的跨模态约束下,同一模态内,锚点到其最远的正样本与最近的负样本之间距离也应该有所约束。
采用双向训练策略(visible to thermal 和 thermal to visible)
Proposed Method
1、双流网络
大体上可分为两部分:
特征提取器(feature extractor):旨在捕获针对不同图像模态的特定信息。
在ImageNet上预训练,两条路径虽然结构一致,但参数独立。采用AlexNet作为baseline,具体而言,采用五个预训练的卷积层FCN(conv1—conv5)和一个全连接层FC1(4096)作为初始化。FC层后添加批处理层(BN)
特征嵌入(feature embedding):着重将不同模态特征映射到统一特征空间内,学习跨模态共享空间,以弥合两个高度异构模态图像间差异。
简化表示为:
x,z即代表通过特征提取和特征嵌入处理后的可见光和红外图像的特征。
2、双重双向约束(Dual-Constrained Top-Ranking)
回顾Ranking Loss:给定一个mini-batch,它包含N个可见光图像和N个红外图像。其中锚点可见光图像为xi,标签为yi,我们希望xi与其对应红外模态的正样本zj之间距离应小于xi与其对应红外模态的负样本zk,差异大小为预定义的ρ1。
注意,所有输入的特征向量x和z都经过L2归一化,以实现稳定收敛。在作者提出的方法中,欧几里得距离被作为相似度度量,比其他度量具有更佳性能。
此外,作者进一步采用双向ranking loss,包含两种关系:可见光与红外三元组(一anchor可见光,两样本红外)、红外与可见光三元组(一anchor红外,两样本可见光)
与上一公式相同,i、j为同一行人,i、k为不同行人。
以下损失为作者根据ranking loss改进而来:
1、跨模态约束(Cross-modality Top-Ranking Constraint)
基本思想是,将一对可见光-红外正样本对与所有可见光-红外负样本对之间最小距离相比较。(双向)
优点1)确保最远正样本对距离小于最近负样本对距离。2)双向训练训练策略保证了特征表示是模态不变的,提高了不同查询方式的鲁棒性(query为visible,gallery为thermal与query为thermal,gallery为visible)。
2、模态内约束(Intra-modality Top-Ranking Constraint)
由于行人间具有不同的姿态,视角等差异,VT-ReID也收到模态内差异的影响。为了解决此问题,引入模态内约束。
3、整体嵌入损失(Overall Embedding Loss)
将IDloss整合到总损失内(可直接理解为交叉熵),最终的损失函数为三个部分的加权求和:
λ1和λ2为预定义的超参数。
Experimental Results
1、两个公开数据集:
RegDB(412个ID,每个ID分别有10张可见光和红外图像,随机分成两半,一半训练一半测试,重复10次取平均值)
SYSU-MM01(491个ID,训练集包含395个ID,含有22258可见光图像和11909红外图像。测试集则包含96个ID,3803张红外作为query,301张随机选择的可见光图像作为gallery)
2、评价指标:CMC和mAP
3、实施细节:embedding中的全连接层设置为1024,batch size=64,dropout=0.5,图像resize为256X256,再随机裁剪为227X227。损失函数中两个超参数设置为λ1= 0.1和λ2= 1
BCTR表示只采用跨模态约束,BDTR则采用跨模态和模态内两种约束。
最后附上论文链接,需要请自取:https://www.ijcai.org/Proceedings/2018/0152.pdf