19ArXiv之ReID：Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person

最新推荐文章于 2022-07-28 00:25:51 发布

用GAN得有GPU

最新推荐文章于 2022-07-28 00:25:51 发布

阅读量1.1k

点赞数

分类专栏： ReID 多模态文章标签：人工智能深度学习计算机视觉

本文链接：https://blog.csdn.net/qq_41967539/article/details/104235761

版权

本文提出了一种增强鉴别特征学习（EDFL）框架，用于解决可见光-热红外跨模态行人重识别问题。通过skip-connection融合中间层特征，使用双模态三元组损失和身份Softmax损失进行网络训练，提高识别的鲁棒性和准确性。实验在RegDB和SYSU-MM01数据集上展示了方法的有效性。

摘要由CSDN通过智能技术生成

Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person
当前的问题及概述：
为了解决模式间和模式内的差异这两个问题,本文从两个方面入手，采用三种简单的方法来增强鉴别特征学习(EDFL)
(1)skip-connection：我们从下图的灰度CAM可以看到，以backbone是ResNet-50为例。我们可以发现深度CNN的不同层次确实是针对不同的位置来预测的。因此，我们尝试将CNN模型中中间层的特征通过跳连接的方式融合进来，增强person特征的识别性和鲁棒性。
在这里插入图片描述
(2)dual-modality triplet loss：同时考虑到模态内部差异模态间变化。

(3)Two-stream：利用两个独立的CNNs来学习模态相关的信息，从而解决跨模态差异问题，然后利用一些共享层将这些特定于模态的信息嵌入到一个公共空间中。同时考虑模态的共同性和差异性，Two-stream CNN结构可以生成多模态的可共享特征。
模型及loss：
在这里插入图片描述
本文提出的EDFL框架如上图，该模型采用two-stream CNN结构提取人的特征，一流提取RGB图像，另一流提取热图像，分别以两个ResNet50模型作为每个流中的backbone，它们彼此独立&