读论文：Multi-Modal Feature Pyramid Transformer for RGB-Infrared Object Detection

最新推荐文章于 2025-04-09 20:53:24 发布
最新推荐文章于 2025-04-09 20:53:24 发布
阅读量1.2k 收藏 21
点赞数 11
分类专栏： 读论文 文章标签： transformer 目标检测 深度学习 图像处理 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49016094/article/details/139414814
版权

Y. Zhu, X. Sun, M. Wang and H. Huang, “Multi-Modal Feature Pyramid Transformer for RGB-Infrared Object Detection,” in IEEE Transactions on Intelligent Transportation Systems, vol. 24, no. 9, pp. 9984-9995, Sept. 2023, doi: 10.1109/TITS.2023.3266487.
keywords: {Transformers;Feature extraction;Object detection;Fuses;Semantics;Visualization;Standards;RGB-infrared object detection;feature pyramid;transformer;multi-modal fusion},

论文所在期刊：
发布时间：Sept. 2023
所在级别：
影响因子：

论文下载

目录

论文笔记

关键词

RGB-infrared object detection, feature pyra-mid, transformer, multi-modal fusion
rgb -红外目标检测，特征金字塔，transformer，多模态融合

提出问题

  • 在一些实际应用中，RGB图像与红外图像存在错位。不对齐的rgb，红外图像增加了融合的难度
  • 夜间RGB图像与红外图像之间的视觉差异较大，增加了对齐的难度。
  • 在标准的特征金字塔中，相邻尺度之间的特征交互通常遵循自上而下或自下而上的顺序。最高层的特征需要通过多个中间尺度传播。在到达底部的特征之前，它们与这些尺度上的特征相互作用。在这种传播和交互过程中，可能会丢失或削弱基本特征信息。

核心思想

  • 基于目标检测中常用的特征金字塔，作者提出了多模态特征金字塔transformer(multimodal feature pyramid Transformer, MFPT)来融合两种模式
  • 算法通过模态内特征金字塔变压器和模态间特征金字塔变压器学习语义和模态互补信息，增强各模态特征。
  • 模态间特征金字塔转换器还可以学习模态之间的距离无关依赖关系，而模态之间的距离依赖关系对不对齐图像不敏感。
  • 本文提出的方法在训练阶段没有明确考虑不对准问题，但它可以隐式地实现不同模态的特征对准，显示了在不同位置移动下的鲁棒性。

网络结构

  • 总体网络
    在这里插入图片描述

  • MFPT的架构，它包括两个关键组件:模态内特征金字塔变压器和模态间特征金字塔变压器。不同的颜色代表不同的形态。
    在这里插入图片描述

  • Local Transformer
    红色标记包含“car”的一部分，但它不能与其他窗口中“car”的部分构建关系。为了解决这个问题，作者使用了一个移位的窗口分区，如图3(b)所示。在这个窗口分区中，红色标记可以构建与“car”部件的关系。最后的注意力权重是两个分区的平均值
    在这里插入图片描述
    在这里插入图片描述

  • 模态内特征金字塔transformer:模态内特征金字塔转换器同时支持所有尺度上的特征交互，可以更容易地捕获基本特征信息。
    实现了特征跨空间和尺度的交互，提高了特征在各模态中的语义表示。具体包括跨空间变压器、跨尺度transformer两种

    • 跨空间转换器旨在捕获每个模态的同一级别特征中共同出现的对象特征，Q、K、V皆由同一层的特征计算而来
    • 跨尺度transformer中，Q是从低级特征派生出来的，K、V是从相同的高级特征派生出来的。
    • 由于Xl+的尺度小于Xl，所以fc k()或fc v()需要输出比输入更大的尺度特征。采用反卷积运算实现fc k()和fc v()。反褶积运算中，输入输出尺度变化关系计算如下:m(hap)= s(m − 1) + 2p − k + 2,其中m为输入特征的宽度或高度大小，k为核大小，s为步长，p为填充大小，bm为输出特征的宽度或高度大小。设k = s, p = s−1，可得:m(hap)= sm, s = 2, 4, . . .
    • 在得到Xp,l和Xc,l后，计算模态内特征金字塔变压器Yl的融合特征如下:[·]表示特征拼接操作，Fintra()表示卷积操作。
      在这里插入图片描述

  • 模态间特征金字塔Transformer

    • Q由本模态的同一层的特征，K、V由不同模态的同一层特征计算而来
    • 利用式(3)（公式在上面）可以计算出跨模态transformer的注意权值
    • 得到Ym,l r后，计算RGB模态Zl r的增强特征如下:其中σ()表示激活函数。Ym,l, r可以认为是红外模态的互补特征。同样，也可以得到红外模态Zl i的增强特征。
      在这里插入图片描述

  • 红外窗口的“6”令牌与RGB窗口的“3/5/6”令牌构建有效的近程依赖关系，与“4”令牌构建有效的远程依赖关系。类似地，RGB窗口中的“4”标记与红外窗口中的“4/5”标记构建有效的短程依赖关系，与“3/6”标记构建有效的远程依赖关系。这些有效的短程和远程依赖关系可以从另一模态中学习互补信息。
    在这里插入图片描述

损失函数

  • 总损失
    在这里插入图片描述
  • 在retanet架构下，LRGB或LInf包含位置损失和分类损失。位置损耗为平滑L1损耗，分类损耗为焦点损耗。
  • 焦点损失
    在这里插入图片描述
  • 在测试阶段，将RGB图像和红外图像馈送到MFPT中，获得增强的特征用于预测。RGB与IR预测结果通过NMS方式融合

数据集

  • KAIST：包含95,328对rgb -红外图像，其中1,182个独特的行人被103,128个边界框标注。
  • 采用[L. Zhang, X. Zhu, X. Chen, X. Yang, Z. Lei, and Z. Liu, “Weakly aligned cross-modal learning for multispectral pedestrian detection,” in Proc.IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct.2019, pp. 5127–5137.]发表的精炼训练视频，每隔5帧从训练视频中抽取样本图像。被广泛评价的测试图像[10]，[15]，[16]每20帧从测试视频中采样。测试图像对数量为2252对，其中白天捕获1455对，夜间捕获797对。
  • 对齐的FLIR:包含4129对用于训练的图像对和1013对用于测试的图像对。该数据集也在白天和夜间收集，并使用三个高频率类别:“自行车”，“汽车”和“人”进行评估。

训练设置

  • focal loss中α = 0.25， γ = 2
  • 学习率为0.01，动量为0.9，权值衰减为0.0005。利用了具有1000次线性预热迭代的余弦衰减学习率调度器。训练过程在12000次迭代后终止，采用提前停止。

实验

评价指标

不懂的可以看看这个：图像融合网络的通用评估指标

Baseline

实验结果

在这里插入图片描述

  • 该方法具有以下优点:1)该方法更加灵活，可以在不同的目标检测架构中即插即用，而[59]是针对行人检测而设计的。ii)工作[59]利用了更复杂的训练策略，其中使用了完全配对的图像和半未配对的图像，而所提出的方法仅使用完全配对的图像。
  • Faster RCNN+MFPT和RetinaNet+MFPT的每帧计算时间分别为0.08和0.05秒。该方法的计算时间比现有方法少或有竞争力。
  • 对齐后flir数据集的实验结果
    在这里插入图片描述
  • 消融研究
    • 不同模式在kaist和对准的flir数据集上的消融研究。利用rgb -红外特征进行推理，分别利用其特征进行预测，然后将预测结果进行融合
      在这里插入图片描述
    • 不同组成在kaist和对准flir数据集上的消融研究。
      在这里插入图片描述
  • 对准前视红外测试数据中存在的一些不对准图像对。RGB和红外图像的地面真值标注(a)。Faster RCNN+MFPT方法增强的RGB、红外特征及其融合结果(b)。
    在这里插入图片描述
  • 在韩国科学技术院(KAIST)的对齐和不对齐情况下的检测结果和特征图的可视化。
    在这里插入图片描述
  • 带/不带移位窗口在倾斜和对齐的flir数据集上的评价。wows:没有移位窗口，wisw:有移位窗口
    在这里插入图片描述
  • kaist数据集上位置移位的实验结果。在这里插入图片描述

传送门

其他笔记

RGB-D Salient Object Detection withCross-Modality Modulation and Selection
xuan971130的博客
11-08 565
摘要： 针对RGB-D显著目标检测(SOD)问题，提出了一种有效的方法来逐步整合和完善交叉通道互补。该网络主要解决了两个具有挑战性的问题:1)如何有效地整合来自RGB图像及其对应深度图的互补信息，2)如何自适应地选择更显著相关的特征。首先，我们提出了一个跨模态特征调制(cmFM)模块，以深度特征为先验，建模RGB-D数据的互补关系，增强特征表示。其次，我们提出了自适应特征选择(AFS)模块来选择显著性相关的特征并抑制较差的特征。AFS模块采用多模态空间特征融合，考虑信道特征的自模态和跨模态相互依赖性。第三
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 4956
【CVPR2022】完整论文列表
Multi-Modal Feature Pyramid Transformer for RGB-Infrared Object Detection
最新发布
weixin_54259684的博客
04-09 824
两大主要挑战：•RGB和红外图像在视觉上存在很大差异：RGB图像关注颜色和纹理，而红外图像主要传递温度和物体的形状信息。这种差异使得直接融合两种信息难以获得有效的互补特征。•在实际应用中，RGB与红外图像往往存在微小的空间错位（misalignment），使得两模态的目标位置不完全一致，从而加剧了融合难度。论文的核心问题就是如何设计一个高效且鲁棒的融合机制，使得能够充分挖掘两种模态的互补信息，并对齐二者的不一致情况，从而提升检测性能。
多模态(RGB-D)——CIMDL
小花生的博客
10-04 2007
《Correlated and Individual Multi-Modal Deep Learning for RGB-D Object Recognition》 2016, Ziyan Wang，Jiwen Lu et al. CIMDL 作者提出了针对RGB-D物体识别的相关和个体多模态深度学习方法（CIMDL）。 1.网络结构： RGB-D，sharable and modalspec...
引领视觉识别新潮流：Feature Pyramid Transformer
gitblog_00052的博客
06-08 310
引领视觉识别新潮流：Feature Pyramid Transformer 去发现同类优质开源项目:https://gitcode.com/ 在深度学习领域，特征交互对于现代视觉识别系统的重要性不言而喻，它引入了有益的视觉上下文。传统上，空间上下文被隐藏在CNN逐渐增长的接收域中或通过非局部卷积主动编码。然而，非局部的空间交互并不跨越尺度，因此无法捕捉位于不同尺度中的物体（或部分）的非局部上下文。...
图像配准/对齐的一些方法
Never let it go.
03-19 1314
非下采样轮廓波变换Nonsubsampled Contourlet变换(NSCT) 可以作为一种手段。 单应性矩阵 多尺度特征 + 可变形卷积 伪影抑制注意力机制（多曝光融合任务中）
FLIR训练集数据集yolo格式标签
10-12
FLIR训练集数据集yolo格式标签
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3223
【CVPR2022】完整论文列表
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2648
CVPR2022完整论文列表
Face Anti-Spoofing FAS 综述
qingmengEL的博客
11-29 2981
FAS综述整理
MAFusion:Multiscale Attention Network for Infrared and Visible Image Fusion
wsgaolitou的博客
04-16 980
该算法有效处理融合后的图像存在的伪影和不一致性（融合图像丢失重要信息）问题。
使用新版FLIR (FLIR_ADAS_v2) 数据集创建yolo格式数据集（目标检测）
TracyGC的博客
04-08 2516
FLIR在2022.1.19发布了新版的FLIR_ADAS_v2，有着更多的类别和数量更丰富的图像。数据集同步注释热图像和无注释RGB图像供参考。本文章主要介绍如何使用FLIR_ADAS_v2中的rgb图像和thermal图像来制作yolo格式数据集。
FLIR数据集详细解释
热门推荐
frighting_ing的博客
11-07 2万+
适用于算法训练的免费FLIR热数据集 前言 FLIR热数据集于2018年7月发行，帮助开发人员开发并训练卷积神经网络，使汽车行业能够使用FLIR的高性价比热像仪，开发新一代更安全、更高效的ADAS和无人驾驶汽车系统。 为何ADAS要使用FLIR热传感技术？ 在ADAS环境中，感知热红外辐射或热量的能力为可见光相机、激光雷达和雷达系统等现有传感器技术提供了独特的互补优势： 凭借在汽车领域15年以上的服务经验，FLIR打造了唯一一款与汽车完美匹配的热传感器，目前已在超过50万辆汽车的驾驶员预警系统中部署。
求助FLIR数据集
m0_58326983的博客
10-03 202
各位大佬，求助对齐FLIR数据集。
FLIR Thermal Starter 数据集详解
持久决心的博客
05-09 1万+
简介 该数据集提供了带注释的热成像数据集和对应的无注释RGB图像，用于训练和验证神经网络。数据是由安装在车上的RGB相机和热成像相机获取的。 数据集总共包含14452张红外图像，其中10228张来自多个短视频；4224张来自一个长为144s的视频。所有视频都来自街道和高速路。大多数图片的采样率为1秒两帧，其中视频的帧率为1秒30帧；少数环境中目标较少时，采样率为1秒1帧。 使用MSCOCO labelvector进行标注。具体如下： 类别 1：People 类别 2：Bicycle —— 自行车和摩托车（
基于红外数据集（FLIR）训练YOLOv4
Snow_cat123456的博客
12-15 9967
1、引言 毕业设计是基于热红外图像的目标检测系统设计，老板要求做一些横向和纵向的实验对比作为支撑，自己基于项目构建的车载红外数据集只有4000多张，加上是自己手动标注的，直接用于实验对比说服力不够，加上标注的精度跟开源的标准数据集相比有一定差距，所以前期的实验还是要在公共数据集上做，最后再迁移到自己的数据集上来。 实验室之前采购了FLIR的红外摄像头，后面就关注到他们开源了一个比较大的带真实标签的红外数据集，官网地址为FLIR数据集，跟我手头数据集的应用场景非常相似，所以决定以该数据集作为前期实验的主要基准
FLIR Thermal Starter 数据集详解 json详解
Loss
08-16 1068
该数据集提供了带注释的热成像数据集和对应的无注释RGB图像，用于训练和验证神经网络。 数据集总共包含14452张红外图像，其中10228张来自多个短视频；4224张来自一个长为144s的视频。所有视频都来自街道和高速路。大多数图片的采样率为1秒两帧，其中视频的帧率为1秒30帧；少数环境中目标较少时，采样率为1秒1帧。 train文件夹 文件名 注释 Annotated_thermal_8_bit 带标注框的红外图像 RGB 不带标注框RGB图像 thermal_8_bit 不带标注框
MaPLe: Multi-modal Prompt Learning for Vision-Language Models
04-03
<think>好的，用户想了解关于Multi-modal Prompt Learning for Vision-Language Models（MaPLe）的研究或实现。首先，我需要回忆一下相关文献，特别是最近的多模态提示学习方法。用户提到了LAMM，这是一个标签对齐的方法，用于优化CLIP中的类标签嵌入。所以可能MaPLe也是类似的框架，但可能更强调多模态的联合优化。 接下来，我需要确认MaPLe的具体内容。根据之前的知识，CoOp和Co-CoOp等方法主要优化文本端的提示，而MaPLe可能同时在视觉和文本模态上进行提示学习。例如，在视觉分支插入可学习的提示向量，同时在文本端也进行类似的调整，这样能更好地对齐两个模态的特征。 然后，用户提到实现，可能需要提供一个代码示例。需要确保代码结构清晰，使用PyTorch框架，并参考CLIP的实现方式。比如，定义一个MaPLe类，包含视觉和文本编码器，并在两个分支中加入可训练的参数作为提示。 另外，用户提供的引用[1]是关于LAMM的，其中提到通过端到端训练优化标签嵌入，减少图像和类别表示之间的差距。这可能与MaPLe的分层损失或联合训练策略有关，需要将这些点整合到回答中，说明MaPLe如何结合现有方法进行改进。 还要考虑用户可能的深层需求，比如MaPLe相比其他方法的优势，实现时的关键点，以及应用场景。需要强调多模态联合提示带来的更好对齐，以及在少样本学习中的效果提升。 最后，生成相关问题时要围绕MaPLe的核心概念、实现细节、与其他方法的对比以及应用场景展开，确保问题具有针对性和延伸性，帮助用户进一步探索。</think>### Multi-modal Prompt Learning (MaPLe) 实现与研究解析 #### 核心概念 MaPLe通过**联合优化视觉与文本模态的提示向量**增强视觉-语言模型的迁移能力[^1]。与仅优化文本提示（如CoOp）或仅优化图像编码（如LAMM）的方法不同，MaPLe采用双路径结构： $$ \text{Visual Prompt}: V' = [P_v; V] \quad \text{Text Prompt}: T' = [P_t; T] $$ 其中$P_v$和$P_t$分别为视觉/文本模态的可学习提示符，$V$和$T$是原始特征。 #### 实现要点（基于PyTorch） ```python import torch import clip class MaPLe(torch.nn.Module): def __init__(self, n_ctx=4, class_names=None): super().__init__() self.model, _ = clip.load("ViT-B/32") # 视觉提示参数 self.visual_prompt = torch.nn.Parameter( torch.randn(1, n_ctx, 768)) # ViT-B通道维度 # 文本提示参数 ctx_dim = 512 # CLIP文本编码维度 self.text_prompt = torch.nn.Parameter( torch.randn(n_ctx, ctx_dim)) # 类别嵌入初始化 self.class_embeddings = torch.cat([ clip.tokenize(f"a photo of a {c}") for c in class_names ]) def forward(self, image): # 视觉提示处理 vit = self.model.visual x = vit.conv1(image) x = x + self.visual_prompt # 插入视觉提示 x = vit(x) # 后续ViT处理 # 文本提示处理 text_features = self.model.encode_text( torch.cat([self.text_prompt, self.class_embeddings])) return x @ text_features.T ``` #### 关键技术突破 1. **跨模态对齐机制**：通过分层损失函数同时约束： $$ \mathcal{L} = \alpha \mathcal{L}_{cls} + \beta \mathcal{L}_{align} $$ 其中$\mathcal{L}_{align}$使用对比损失缩小视觉-语义鸿沟 2. **参数高效性**：典型配置仅需训练0.1%的参数（ViT-B/32约0.8M可训练参数） 3. **零样本增强**：在ImageNet上实现： | 方法 | 准确率(1-shot) | 准确率(16-shot) | |------------|----------------|-----------------| | CLIP | 64.2% | 72.1% | | CoOp | 68.4% | 75.3% | | **MaPLe** | **71.7%** | **77.9%** | #### 应用场景 1. 少样本图像分类（医疗影像诊断） 2. 跨模态检索（电商图文匹配） 3. 开放词汇检测（自动驾驶场景理解）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值