Cross-Modality Person Re-Identification via Modality-aware Collaborative Ensemble Learning（7.29论文笔记）

• 标题：Cross-Modality Person Re-Identification via Modality-aware Collaborative Ensemble Learning Re-Identification
• 来源：期刊 TIP（上一篇 Modality-aware Collaborative Learning for Visible Thermal Person Re-Identification 的期刊版本）
• 关键词：跨模态ReID

1、贡献（相对会议版的提升）

• 模态意识的协同集成学习方法——MACE。（双流网络改用提升的中层共享双流网络MSTN，共享中层卷积层参数）
  （思路：文章指出处理模态差异时，特征和分类器层面的一致性很重要，共享部分卷积层的MSTN促进提取一致性特征，提升了性能）
• 引入协同集成学习机制，提高性能，有利于不同类的知识迁移。

3、算法

• 网络结构：左边部分为提出的MSTN网络，相比寻常双流网络存在两点改进。1、共享卷积块，使用单个卷积块捕捉域特异特征，剩下4个残差块模态共享，利于挖掘中层共享信息。2、类似BNNeck，特征嵌入前进行batch normalization。（通常双流网附加FC层进行特征嵌入）
  

1）共享特征分类器、模态分类器学习：

  与会议版本一致，基线分类器挖掘模态共享特征，对应网络结构中z⁰（即基线分类器θ⁰）的学习。模态分类器保证各自模态的样本嵌入能够正确分类。

• 基线分类器（θ⁰）：identity损失。
• 模态特异分类器（θ^v；θ^t）：identity损失，分别学习针对模态的分类器参数。
• 模态分类器：注意！期刊版本的摒弃了模态二分类任务。

2）多分类器协作学习：

  会议版本中，针对每个输入样本（V/T），得到其共享分类器预测（z⁰∈R^c）和模态特异分类器预测（z/z^t），计算平均预测向量与平均标签。而本文针对同id成对输入样本（x^v/x^t），得到其共享分类器预测（z^0,1/z^0,2）和模态特异分类器预测（z^v/z^t），计算全体分类器的集成预测，即ensemble向量 z^e:

  对ensemble z^e进行softmax得到最终预测分数 p^e，使用交叉熵损失作为ensemble的学习损失：

• 协同学习的一致性：为促进不同分类器间的知识迁移，采用的知识蒸馏技术。引入温度参数T，平滑各个分类器的概率分布。得到ensemble的平滑概率为：
  
  相似的，得到模态特异分类器预测的平滑概率\tilde{p^v/t}，为保持模态特异分类器预测和ensemble的一致性，使用KL散度权衡它们的分布差异，同时也作为一个协作一致性损失项，帮助实现分类器间的所学知识的交流：
  

4）MACE总损失：

其中w(t)为提升的sigmoid函数，随训练epoch由0逐渐变为1，其原因是训练开始不同分类器差距过大，很难保证预测一致。

4、性能

SYSU-MM01 (Single-Shot All Search)：rank-1 51.64
RegDB (T-V): rank1 71.12

参考文献：
[1] M. Ye, X. Lan, and Q. Leng, “Modality-aware Collaborative Learning for Visible Thermal Person Re-Identification,” presented at the Proceedings of the 27th ACM International Conference on Multimedia, 2019.
[2] M. Ye, X. Lan, Q. Leng, and J. Shen, “Cross-Modality Person Re-Identification via Modality-aware Collaborative Ensemble Learning,” IEEE Transactions on Image Processing, pp. 1-1, 2020.