- 标题:Cross-Modality Person Re-Identification via Modality-aware Collaborative Ensemble Learning Re-Identification
- 来源:期刊 TIP(上一篇 Modality-aware Collaborative Learning for Visible Thermal Person Re-Identification 的期刊版本)
- 关键词:跨模态ReID
1、贡献(相对会议版的提升)
- 模态意识的协同集成学习方法——MACE。(双流网络改用提升的中层共享双流网络MSTN,共享中层卷积层参数)
(思路:文章指出处理模态差异时,特征和分类器层面的一致性很重要,共享部分卷积层的MSTN促进提取一致性特征,提升了性能) - 引入协同集成学习机制,提高性能,有利于不同类的知识迁移。
3、算法
- 网络结构:左边部分为提出的MSTN网络,相比寻常双流网络存在两点改进。1、共享卷积块,使用单个卷积块捕捉域特异特征,剩下4个残差块模态共享,利于挖掘中层共享信息。2、类似BNNeck,特征嵌入前进行batch normalization。(通常双流网附加FC层进行特征嵌入)
1)共享特征分类器、模态分类器学习:
与会议版本一致,基线分类器挖掘模态共享特征,对应网络结构中z0(即基线分类器θ0)的学习。模态分类器保证各自模态的样本嵌入能够正确分类。
- 基线分类器(θ0):identity损失。
- 模态特异分类器(θv;θt):identity损失,分别学习针对模态的分类器参数。
- 模态分类器:注意!期刊版本的摒弃了模态二分类任务。
2)多分类器协作学习:
会议版本中,针对每个输入样本(V/T),得到其共享分类器预测(z0∈Rc)和模态特异分类器预测(z/zt),计算平均预测向量与平均标签。而本文针对同id成对输入样本(xv/xt),得到其共享分类器预测(z0,1/z0,2)和模态特异分类器预测(zv/zt),计算全体分类器的集成预测,即ensemble向量 ze:
对ensemble ze进行softmax得到最终预测分数 pe,使用交叉熵损失作为ensemble的学习损失:
- 协同学习的一致性:为促进不同分类器间的知识迁移,采用的知识蒸馏技术。引入温度参数T,平滑各个分类器的概率分布。得到ensemble的平滑概率为:
相似的,得到模态特异分类器预测的平滑概率\tilde{pv/t},为保持模态特异分类器预测和ensemble的一致性,使用KL散度权衡它们的分布差异,同时也作为一个协作一致性损失项,帮助实现分类器间的所学知识的交流:
4)MACE总损失:
其中w(t)为提升的sigmoid函数,随训练epoch由0逐渐变为1,其原因是训练开始不同分类器差距过大,很难保证预测一致。
4、性能
SYSU-MM01 (Single-Shot All Search):rank-1 51.64
RegDB (T-V): rank1 71.12
参考文献:
[1] M. Ye, X. Lan, and Q. Leng, “Modality-aware Collaborative Learning for Visible Thermal Person Re-Identification,” presented at the Proceedings of the 27th ACM International Conference on Multimedia, 2019.
[2] M. Ye, X. Lan, Q. Leng, and J. Shen, “Cross-Modality Person Re-Identification via Modality-aware Collaborative Ensemble Learning,” IEEE Transactions on Image Processing, pp. 1-1, 2020.