该文章提出了一种新的损失函数——Hardpentapletloss，它基于难挖掘的五元组样本，用于跨模态行人重识别任务。在每个批次中，选取样本作为anchor，然后分别确定全局正样本、全局负样本、跨模态正样本和跨模态负样本来构建三元组损失。网络框架采用单模态ReID模型，并通过复制IR图像通道以适应RGB模型。实验表明，这种方法在SYSU-MM01数据集上取得了较好的性能，最佳模型rank1达到41.36%。整个框架包括特征提取、难样本挖掘和HPI损失学习三个部分。
这篇文章主要的贡献在于提出了一种难挖掘的五元组损失，其实是由两个难挖掘三元组损失组成。每一批读入P个ID，每个ID有K张RGB和K张IR，依次选择每个样本作为anchor。
对于一个anchor，从两个模态相同ID的样本中选择距离最远的作为全局正样本，从两个模态不同ID的样本中选择距离最近的作为全局负样本，构成三元组损失Lhgt。从另一模态相同ID样本中距离最远的作为跨模态正样本，从另一模态不同ID样本中选择距离最近的作为跨模态负样本，加上anchor构成三元组损失Lhct。值得注意的是：对于一个anchor，它的全局正样本和跨模态正样本可能是相同的，全局负样本和跨模态负样本可能是相同的。
最终计算这两种损失的和形成五元组损失Hard pentaplet loss，加上ID损失，构成总损失。公式：
三元组损失Lhgt：
)
三元组损失Lhct：
)
五元组损失Hard pentaplet loss：
最低0.47元/天 解锁文章
扫一扫
2689
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
