2020 ArXiv之跨模态ReID：Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-T

最新推荐文章于 2022-10-31 15:48:40 发布

用GAN得有GPU

最新推荐文章于 2022-10-31 15:48:40 发布

阅读量1.2k

点赞数 1

分类专栏： ReID 多模态文章标签：深度学习人工智能计算机视觉

本文链接：https://blog.csdn.net/qq_41967539/article/details/108467207

版权

本文探讨了在跨模态ReID任务中，双流网络的参数共享策略，并提出了一种新的hetero-center based triplet loss。通过实验发现，共享res50后三个block的参数更优。结合PCB和GeM特征提取，以及hetero-center based triplet loss和softmax loss，模型在SYSU数据集上实现了57.5%的mAP和61.6%的Rank1准确率。

摘要由CSDN通过智能技术生成

Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person Re-Identification
简述：
采用双流网络来解决多模态识别中最具挑战性的跨模态差异问题。在本文中，我们探讨了两流网络应该共享多少个参数，这在现有文献中仍未得到很好的研究。同时，提出了提出了hetero-center based triplet loss，通过将anchor与其他所有样本的比较改为anchor与其他所有样本中心的比较，来减少传统的triplet loss的严格约束。
模型：
在这里插入图片描述

该模型主要由三部分组成:(1)two-stream backbone network同时探索参数共享(2)部分级特征提取block和(3)loss：hetero-center based triplet loss 和softmax loss。
1.two-stream backbone network同时探索参数共享：
将backbone为res50分为6种情况，如下表的s0-s5，可以看到s2为最佳方案，即上图所示的network。
在这里插入图片描述