遥感论文 | Arxiv | SM3Det：基于混合专家模型（MoE）的多模态数据集和多任务目标检测模型，代码已开源！

最新推荐文章于 2025-03-24 11:33:16 发布

小马不会过河

最新推荐文章于 2025-03-24 11:33:16 发布

阅读量1.7k

点赞数 16

文章标签： 3d 目标检测目标跟踪算法 neo4j 人工智能自动化

本文链接：https://blog.csdn.net/m0_59163425/article/details/145142549

版权

论文题目：SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection
论文代码：https://github.com/zcablii/SM3Det

摘要

传统的目标检测模型通常是在单一数据集上训练的，往往局限于特定的成像模式和注释格式。这种方法忽视了跨多模态的宝贵共有知识，并限制了模型在更多样化场景中的适用性。为此，本文介绍了一项新的任务，称为多模态数据集和多任务目标检测（M2Det），旨在精确地从任何传感器模式中检测水平或定向的物体。

本文建立了一个基准数据集，并提出了一种统一的模型，即SM3Det（用于多模态数据集和多任务目标检测的单模型）。
SM3Det利用网格级别的稀疏MoE（专家混合）骨干网络，在保留不同模态独特特征表示的同时，实现联合知识学习。此外，它通过使用动态学习率调整的一致性和同步优化策略，使其能够有效应对各模态和任务之间不同的学习难度。

广泛的实验展示了SM3Det的有效性和泛化能力

背景

挑战一：多模态数据的联合知识利用不足

传统方法局限：传统的目标检测模型通常专注于单一模态的数据集，这限制了模型对不同传感器获取的多样化图像数据的学习能力。
忽视共享知识：这些模型往往忽略了不同模态间存在的宝贵共有知识，导致在跨模态应用中的性能受限。

挑战二：处理多源和多任务的复杂性

多源数据处理困难：空中平台（如无人机、卫星）常常携带多种传感器，因此需要一种能同时处理来自不同模态图像的方法。
多任务需求：现有方法大多只能执行单一格式的检测任务，而实际应用中可能需要同时支持水平和定向边界框等多样化的检测任务。

挑战三：数据表示和优化的差异

模态差距：遥感中的多模态数据（如RGB、SAR、IR、多光谱图像）展现出根本不同的模式概念，这使得信息整合变得复杂。
学习难度不一致：不同模态和任务之间的学习难度各异，可能导致模型各组件的优化速率或方向不同步，影响整体性能。
优化冲突：这种不一致性可能会导致冲突的优化结果，不利于模型实现不同的损失目标，从而阻碍了传统模型的学习和优化过程。

方法

模型总览

Grid-level MoE

借鉴稀疏MoE网络的成功，本文提出利用MoE来完成M2Det任务。

对于基于transformer的主干网络，如Swin-Transformer或PVT，在FFN组件中集成MoE。
对于经常使用1×1卷积进行特征变换，引入稀疏专家来增强这些层。

模型设计允许专家在主干内的局部网格特征上操作。具体来说，对于深度图像特征中第i行和第j列的局部空间输入特征，经过MoE层后的输出特征如下：

每个专家在矩阵E中都有一个表示嵌入，输入特征x首先通过矩阵W进行转换，然后Wx与E中的每个专家嵌入进行比较，以计算相似度
相似度分数通过Softmax函数传递，将它们转换成概率分布。这意味着门控函数为每个专家分配一个概率，表示其与输入特征x的相关性。
最后，TOPk操作符选择概率最高的前k个专家。它通过将Softmax概率分配给前k个专家，并将其余设置为零，重新加权每个专家。

总之，fMoE(xij) 是来自前k个专家的输出的加权和。权重由门控函数G确定，它动态选择每个局部特征最相关的专家。MoE在主干模型中创建了一个更稀疏的特征空间。通过关注局部模式，模型可以独立学习模拟多种模态和局部目标模式。

Dynamic Learning Rate Adjustment (DLA)

在多模态、多数据集和多任务目标检测任务中，一个主要挑战是不同模态和任务之间的学习难度差异。为了解决这个问题，本文提出了一种新颖的动态学习率调整方法（DLA），以管理不同任务和模态之间的学习难度差异。

DLA以每个任务头的损失作为指标，确定每个任务的当前收敛速率和网络的整体优化方向，并相应地调整学习率（LR）。具体来说：

一个策略用于每个任务头（非共享网络）的学习率，以平衡每个任务的相对收敛速率
另一个策略用于主干网络（具有共享权重的网络），以确保优化方向的一致性。

对于head：

对于backbone：

标量因子γ确保经过sigmoid函数后的重新加权值在(0, 2)的范围内。b是超参数，偏置，可以被解释为重新加权的阈值，即当C是b时，重新加权是1。τ是用于值敏感性调整的温度。不同温度下的重新加权曲线以及b和C之间的关系在图3中展示。

实验

数据集

SARDet-100K：

模态：合成孔径雷达（SAR）
类别：飞机、船只、汽车、桥梁、坦克、港口
训练图像：94,493张，实例数198,747
测试图像：11,613张，实例数24,023
标注形式：水平边界框（HBB）

DOTA-v1.0：

模态：光学
类别：15个不同类别
训练图像：25,028张，实例数337,728
测试图像：17,041张，实例数95,380
标注形式：有向边界框（OBB）

DroneVehicle：

模态：红外
类别：汽车、卡车、公共汽车、面包车、货车
训练图像：17,990张，实例数316,411
测试图像：8,980张，实例数159,616
标注形式：有向边界框（OBB）

实验结果

模型在各个数据集结果如下：

不同backbone的效果如下：

不同detector head的效果：

MoE Layer位置和数量消融实验

DLA方法的两个关键参数的消融实验：

Top-1 selected experts可视化结果如下：

结论

本文介绍了一个新的且具有挑战性的任务：遥感中的多模态数据集和多任务目标检测。

为了解决这个问题，本文开发了SM3Det模型，集成了一种新颖的网格级MoE方法和动态学习率调整策略。

大量的实验和深入的分析证明了SM3Det的强大性能和泛化能力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述