ECCV 2024 | DAMSDet: 动态自适应特征融合的多光谱检测Transformer

最新推荐文章于 2025-04-25 15:24:01 发布

小天才学习机打游戏

最新推荐文章于 2025-04-25 15:24:01 发布

阅读量1.9k

点赞数 18

文章标签： transformer 目标跟踪人工智能 chatgpt 大数据 gpt microsoft

本文链接：https://blog.csdn.net/m0_59164520/article/details/144041389

版权

论文信息

题目：DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with Competitive Query Selection and Adaptive Feature Fusion

DAMSDet: 动态自适应特征融合的多光谱检测Transformer

源码：https://github.com/gjj45/DAMSDet

原文链接：https://arxiv.org/abs/2403.00326

论文创新点

提出了一种新颖的红外-可见光目标检测方法：作者提出了名为DAMSDet的新型目标检测方法，该方法能够动态聚焦于主导模态目标并自适应地融合互补信息。
模态竞争查询选择策略：作者设计了一种模态竞争查询选择策略，用于多模态初始化查询，动态聚焦于每个目标的主导模态，并为后续融合过程提供有用的先验信息。
多光谱可变形交叉注意力模块：作者提出了多光谱可变形交叉注意力模块，该模块能够同时自适应地挖掘不同语义层级的细粒度部分互补信息，并适应模态错位情况。

摘要

红外-可见光目标检测旨在通过融合红外和可见光图像的互补信息实现全天候鲁棒目标检测。然而，高度动态变化的互补特性和普遍存在的模态错位使得互补信息的融合变得困难。在本文中，作者提出了一种动态自适应多光谱检测变换器（DAMSDet），以同时解决这两个挑战。具体来说，作者提出了一种模态竞争查询选择策略，以提供有用的先验信息。这种策略可以动态选择每个目标的基本显著模态特征表示。为了有效挖掘互补信息并适应错位情况，作者提出了一种多光谱可变形交叉注意力模块，以适应性地采样和聚合红外和可见光图像的多语义级特征，针对每个目标。此外，作者进一步采用了DETR的级联结构，以更好地挖掘互补信息。在四个不同场景的公共数据集上的实验表明，与其它最先进的方法相比，所提出的方法取得了显著的改进。

关键词

目标检测 · 多光谱检测 · 红外 · DETR · 查询选择 · 自适应特征融合

3 方法

3.1 概述

DAMSDet的概述如图2所示。我们的方法包含四个主要组件：两个模态特定的CNN主干网络、两个模态特定的高效编码器、模态竞争查询选择模块和多光谱变换器解码器。给定一对红外和可见光图像，我们首先使用两个模态特定的CNN主干网络和两个模态特定的高效编码器分别提取和编码它们的特征。随后，编码后的特征被展平、连接并输入到模态竞争查询选择模块。该模块选择显著的模态特征作为初始目标查询。接下来，这些模态特定的目标查询进入多光谱变换器解码器，通过级联解码层与红外和可见光特征图的多个语义层进行精炼。最后，这些精炼的目标查询通过检测头映射获得所有目标的边界框和分类分数。高效编码器结合了变换器和CNN，显著降低了计算复杂性，遵循了RT-DETR的结构。以下，我们将详细阐述所提出的模态竞争查询选择策略和带有多光谱可变形交叉注意力模块的多光谱变换器解码器。

3.2 模态竞争查询选择

DETR中的目标查询是一组可学习的嵌入，包含目标的内容和位置信息。这些查询作为目标特征表示，与解码器中的图像特征序列进行交互，并通过预测头映射生成边界框和分类分数。除了将目标查询设置为可学习的嵌入外，还有一些方法使用Top-K分数特征作为初始目标查询。可学习的目标查询难以优化，因为它们没有明确物理意义。在红外和可见光图像中，两种模态特征之间存在差距，进一步复杂化了可学习目标查询的优化。因此，从编码后的特征图中选择目标查询更适合红外-可见光目标检测任务中互补特性的动态变化。具体来说，我们连接来自红外和可见光模态的编码特征序列，并将它们输入到一个线性投影层以获得特征点分数。从这个组合的特征表示中，我们选择Top-K得分特征作为初始目标查询。这些Top-K特征分别来自红外或可见光特征，每个特征代表其各自模态中特定的目标实例。这种方法可以定义如下：

其中z表示K个选定特征的集合，I和V分别代表展平后的编码红外和可见光特征序列。我们将选定的查询特征用于与真实值的额外二进制匹配，计算损失以确保得分更高的模态特定特征包含准确的目标信息。

3.3 多光谱变换器解码器

多光谱变换器解码器的细节如图4所示。在每一层中，模态特定的目标查询首先经历多头自注意力以获得上下文信息并减少冗余。随后，我们的多光谱可变形交叉注意力模块使用多语义红外和可见光特征对这些模态特定查询进行精炼。

此外，我们采用4D锚框来限制多光谱可变形交叉注意力模块内的采样范围，并通过级联解码层迭代精炼查询和锚框。具体来说，在具有D层的多光谱解码器中，我们将d层中的q模态特定查询映射以获得精炼的4D参考点。该过程可以描述如下：

其中d ∈ {2, 3, …, D}，MLP由两个线性投影层组成，σ表示sigmoid函数，σ−1表示逆sigmoid函数，是初始化的锚框。初始锚设置与Deformable DETR中的两阶段方法一致。这个精炼的4D参考点作为后续在多光谱可变形交叉注意力模块中对多语义红外和可见光特征图进行采样的参考位置约束。多光谱可变形交叉注意力模块。在Deformable DETR中，通过在特征图上稀疏采样来聚合关键特征，我们将其扩展到多模态形式以实现自适应红外和可见光特征融合。多光谱可变形交叉注意力模块F的详细架构如图4所示。

具体来说，我们将4D参考点映射到位置嵌入，通过MLP层。在结合模态特定查询特征和位置嵌入后，使用两个线性层分别预测在两个模态的多语义特征图上的采样偏移和聚合权重。最后，这些采样的多语义红外和可见光特征通过聚合权重进行聚合。由于这种方法能够在红外和可见光模态中独立预测采样位置偏移，网络仍然可以关注错位图像对中错位目标的特征。给定输入的多语义红外和可见光特征图，我们使用的中心点作为2D参考点。我们定义多光谱可变形交叉注意力模块F如下：

其中表示可见光和红外模态，索引注意力头，索引输入特征语义层，索引采样点。和分别表示在第个特征语义层和第个注意力头内第个注意力权重和采样点，模态。注意力权重通过进行归一化。函数将缩放到第个语义层特征图，函数将预测的偏移限制在的范围内，以便关注对象周围的信息并减少优化的难度。

有效性分析

为了观察这种特征融合方法的有效性，作者可视化了不同解码层中两种模态在不同语义层级上采样的位置和权重，如图5所示。结果显示，随着解码层的深入，作者的方法倾向于自适应地聚焦于红外模态的低级语义特征以及可见模态的额外高级语义特征。这一结果是合理的，因为红外模态携带的信息较少，能够提供可靠的低级语义信息，如基本轮廓和形状，而携带更多信息的可见模态则能够额外提供更抽象的高级语义信息，如更可靠的目标类别之间的上下文关系。此外，作者观察到这些采样点能够适应错位场景，并自适应地聚焦于目标的关键信息，如边缘信息，这对于定义目标的边界非常重要。在不同解码层中采样位置和权重分布的差异也验证了级联结构在可靠互补信息挖掘中的有效性。

4 实验

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述