论文阅读23 | A feature learning framework for cross-modality person re-identification

这篇文章主要的贡献在于提出了一种难挖掘的五元组损失，其实是由两个难挖掘三元组损失组成。每一批读入P个ID，每个ID有K张RGB和K张IR，依次选择每个样本作为anchor。

对于一个anchor，从两个模态相同ID的样本中选择距离最远的作为全局正样本，从两个模态不同ID的样本中选择距离最近的作为全局负样本，构成三元组损失Lhgt。从另一模态相同ID样本中距离最远的作为跨模态正样本，从另一模态不同ID样本中选择距离最近的作为跨模态负样本，加上anchor构成三元组损失Lhct。值得注意的是：对于一个anchor，它的全局正样本和跨模态正样本可能是相同的，全局负样本和跨模态负样本可能是相同的。

最终计算这两种损失的和形成五元组损失Hard pentaplet loss，加上ID损失，构成总损失。公式：

三元组损失Lhgt：)
三元组损失Lhct：
)
五元组损失Hard pentaplet loss：

除此之外，网络框架直接使用的单模态ReID的模型，需要将单通道的IR图像复制成三通道图像。作者尝试了Res-Mid, MGN, PCB, BFE, MLFN模型，最好的在SYSU-MM01上的rank1达到了41.36。这个框架主要包括三个组件：

Re-ID神经网络：提取RGB和红外图像共同特征

难挖掘样本方法：寻找难挖掘的五元组样本对

特征学习的HPI损失：包括五元组损失和身份损失

---

回顾三元组损失

原始三元组损失，对于每个anchor随机选择一个正样本和负样本，目的是让正样本对距离小于负样本对距离一个固定的值。

难挖掘三元组损失，对于每个anchor选择距离最近的负样本，选择距离最远的正样本，加快网络的收敛。