Modality-aware Collaborative Learning for Visible Thermal Person Re-Identification（7.28 论文笔记）

• 标题：Modality-aware Collaborative Learning for Visible Thermal Person
  Re-Identification
• 来源：会议 ACM
• 关键词：跨模态ReID

1、动机

  现有的跨模态ReID方法通常使用模态共享的分类器学习跨模态的特征表示，以缓解模态差异和极大的跨相机类内差异。然而，这种学习策略忽略了不同模态的区分性信息（discriminative information）。因此，文章为VT-ReID提出一种基于双流网络的模态意识协同学习方法（modality-aware collaborative，MAC），从特征层面、分类器层面解决模态差异问题。

2、贡献

• 结合模态共享、模态特异身份分类器，从特征层面、分类器层面解决模态差异问题。
• 提出一种协同学习机制，利用不同分类器之间的关系。

3、算法

1) baseline 模型:

  采用部分共享参数的双流网络结构（卷积层参数特异，FC层参数共享）来学习特征表示，解决特征层面上的模态差异问题。

• Baseline网络
  
• Baseline损失：采用基准的难样例挖掘的Triplet损失和identity损失构成基线的损失：
  

2) 模态意识的协同学习:（MAC）

  除了共享特征分类器，学习两个模态特异分类器。此外为进一步挖掘模态特异信息，引入一个模态二分类器。

• MAC网络：
  
• 基线分类器（θ⁰）：identity损失。
• 模态特异分类器（θ^v；θ^t）：identity损失，分别学习针对模态的分类器参数。
• 模态分类器（θ^m）：同样采用identity损失（虽然是个二分类，这里当成多分类，使用多分类交叉熵损失）。

3) 多分类器的协同学习：

  模态特异和模态共享分类器分开优化，可能损失不同分类器之间的互补性。因此在协同学习中，引入平均标签策略：（z⁰、z^v、z^t分别为θ⁰、θ^v、θ^t分类器的输出）

• 协同学习损失：基于上述平均化预测标签，引入一个‘一致性正则项’，保持三个分类器的平均预测与模态共享分类器预测具有一致性。
  

4）总损失：

4、性能

SYSU-MM01 (Single-Shot All Search)：rank-1 33.26

参考文献：
[1] M. Ye, X. Lan, and Q. Leng, “Modality-aware Collaborative Learning for Visible Thermal Person Re-Identification,” presented at the Proceedings of the 27th ACM International Conference on Multimedia, 2019.