Cross-modality Person re-identification with Shared-Specific Feature Transfer笔记

该博客介绍了CVPR 2020论文《Cross-modality Person re-identification with Shared-Specific Feature Transfer》的主要内容,探讨了在跨模态行人重识别任务中,利用共享和特定特征来提升性能的方法。通过两流特征提取器和共享-特定转移网络(SSTN),结合互补学习策略,使红外和RGB图像的特征更具辨别力。实验结果表明,这种方法提高了跨模态行人重识别的准确性。
摘要由CSDN通过智能技术生成

论文:Cross-modality Person re-identification with Shared-Specific Feature Transfer
来源:CVPR 2020
地址:https://arxiv.org/abs/2002.12489
动机:对于跨模态行人重识别任务,以往都只关注两个模态间的共享特征(share feature),而忽略了每个模态的Specific feature,作者通过利用每个模态的specific feature提高跨模态reid的性能。具体思路为:给定一红外线query,当在gallery中搜索RGB图像时,先找到一些简单的置信度高的RGB样本(这些样本大概率是红外线query的positive样本),把这些彩色样本的颜色特异特征给与红外线query。做了这件事后,红外线query样本可以利用这些彩色信息再去搜索更难的彩色样本。也就是说先找到简单的正样本,再利用这个正样本的specific feature去寻找更难的正样本。这样做与传统做法的对比如下:
在这里插入图片描述
解决方法:
在这里插入图片描述
上图是文章的整体思路框架图。
1、Two-stream feature extractor
这一步用来提取shared和

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
跨模态融合变压器用于多光谱目标检测是一种先进的目标检测方法。多光谱图像由不同波段的传感器捕获,每个波段提供了目标的不同特征信息。传统的目标检测算法往往局限于单一光谱波段,无法在多光谱图像中有效提取目标信息。而跨模态融合变压器能够将不同波段的光谱信息融合,并在融合后的特征上进行目标检测,从而提高目标检测的准确性和鲁棒性。 跨模态融合变压器结合了Transformer模型和跨模态融合方法。Transformer模型是一种基于自注意力机制的神经网络架构,能够有效地建模长距离依赖关系。它将目标的特征信息转化为一系列的注意力权重,然后利用这些权重来对不同波段的特征进行加权融合。这种融合方式可以将信息从一个波段传递到另一个波段,使得各个波段的特征能够共同影响目标检测结果。 跨模态融合变压器还引入了多尺度的注意力机制,以适应不同尺度目标的检测需求。它通过在特征提取的过程中引入多个不同大小的注意力窗口,来对不同尺度的目标进行建模。通过这种方式,跨模态融合变压器能够在多光谱图像中准确地检测到各种尺度的目标。 总之,跨模态融合变压器是一种能够融合不同波段特征并进行多光谱目标检测的先进方法。它的引入可以提高目标检测的准确性和鲁棒性,适用于各种需要从多光谱图像中提取目标信息的应用场景。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值