跨模态行人重识别：Learning with Twin Noisy Labels for Visible-Infrared Person Re-Identification学习记录

目录

摘要

方法

 Co-modeling

Pair Division

 DART

 试验结果:

---

论文链接:Learning with Twin Noisy Labels for Visible-Infrared Person Re-Identification

摘要

        双噪声标签（TNL），即噪声标注和对应。简而言之，一方面，由于数据收集和注释的复杂性，例如红外模态的可识别性差，不可避免地会以错误的身份对一些人进行注释。另一方面，单一模态中错误注释的数据最终会污染跨模态对应关系，从而导致噪声对应关系。

        为了解决 TNL 问题，提出了一种新的鲁棒 VI-ReID 方法，称为双重鲁棒训练 (DART)。简而言之，DART 首先利用深度神经网络的记忆效应计算注释的干净置信度。然后，所提出的方法用估计的置信度纠正噪声对应，并将数据进一步分为四组以供进一步利用。最后，DART 采用了一种新颖的双重鲁棒损失，包括软识别损失和自适应四元组损失，以实现对噪声注释和噪声对应的鲁棒性。

方法

 (a)：DART 的训练管道。简而言之，DART 由两个单独的网络 (A,B) 组成，它们以共同教学的方式工作。更具体地说，DART 首先使用 Eq. 2预热 A 和 B 初始化。之后，在每个时期，执行以下过程。首先，网络 A/B 对每个样本的识别损失分布进行建模，以估计每个样本的正确注释置信度 w，然后将 w 输入 B/A 进行进一步训练。下一步将数据对分成四个子集，即TP、FP、TN和FN，并纠正它们的对应关系。最后，估计的置信度和修正对用于训练网络。 (b)：A 和 B 的双重鲁棒训练框架。图中，“S”、“+”和“-”分别表示锚点、正样本和负样本。置信度高于特定阈值的样本将为绿色，否则为红色。如图所示，主干将首先分别提取可见光和红外模式的特征。然后，这些特征被馈送到分类器以获得预测并用于构建对应矩阵。之后，用估计的置信度建立对应矩阵，红色的anchor由于置信度过低而被丢弃。在配对划分模块的帮助下，配对将被分为四组，然后将它们组合为三元组（参见 (b) 中的一些组合示例）以进行优化。最后，预测、三元组和置信度用于通过最小化我们的损失来实现双重鲁棒训练。

 Co-modeling

        利用深度神经网络的记忆效应计算每个样本正确标注置信度的联合建模模块