19ArXiv之ReID:Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person

本文提出了一种增强鉴别特征学习(EDFL)框架,用于解决可见光-热红外跨模态行人重识别问题。通过skip-connection融合中间层特征,使用双模态三元组损失和身份Softmax损失进行网络训练,提高识别的鲁棒性和准确性。实验在RegDB和SYSU-MM01数据集上展示了方法的有效性。
摘要由CSDN通过智能技术生成

Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person
当前的问题及概述
为了解决模式间和模式内的差异这两个问题,本文从两个方面入手,采用三种简单的方法来增强鉴别特征学习(EDFL)
(1)skip-connection:我们从下图的灰度CAM可以看到,以backbone是ResNet-50为例。我们可以发现深度CNN的不同层次确实是针对不同的位置来预测的。因此,我们尝试将CNN模型中中间层的特征通过跳连接的方式融合进来,增强person特征的识别性和鲁棒性。
在这里插入图片描述
(2)dual-modality triplet loss:同时考虑到模态内部差异模态间变化。

(3)Two-stream:利用两个独立的CNNs来学习模态相关的信息,从而解决跨模态差异问题,然后利用一些共享层将这些特定于模态的信息嵌入到一个公共空间中。同时考虑模态的共同性和差异性,Two-stream CNN结构可以生成多模态的可共享特征。
模型及loss
在这里插入图片描述
本文提出的EDFL框架如上图,该模型采用two-stream CNN结构提取人的特征,一流提取RGB图像,另一流提取热图像,分别以两个ResNet50模型作为每个流中的backbone,它们彼此独立&

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值