创飞CNN和Transformer！Mamba+多模态图像融合，性能速度双巅峰！霸榜顶会！

最新推荐文章于 2025-04-11 14:06:12 发布

人工智能学起来

最新推荐文章于 2025-04-11 14:06:12 发布

阅读量762

点赞数 4

文章标签： cnn transformer 人工智能

本文链接：https://blog.csdn.net/2401_88190197/article/details/143867661

版权

非常建议所有做图像任务的伙伴，多关注这一创新Max，轻松拿捏顶会的思路：Mamba+多模态图像融合！

Mamba的引入，给多模态图像融合带来了全新的视角，使图像融合的质量和效率都得到了显著提升！这是因为，以往主要是用CNN和Transformer做多模态图像融合。但CNN无法捕捉全局信息；Transformer囿于二次计算复杂度，计算开销大。而Mamba同时具有长距离依赖建模和计算效率高的优势，能够克服两者的局限。比如模型FusionMamba便通过结合Mamba，不仅性能提升25.5％，在视觉上也展现了更多细节！

此外，Mamba作为新模型，当下还在蓝海阶段，创新空间很大。

为了方便大家获得灵感启发，我给大家整理了8种前沿思路，原文和代码都有，一起来看！

论文原文+开源代码需要的同学看文末

论文：MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion

内容

该论文介绍了一个名为MambaDFuse的新型多模态图像融合模型，该模型基于Mamba架构，通过双阶段特征提取和双相特征融合模块，有效地结合了不同模态图像中的互补信息。MambaDFuse在红外-可见光图像融合和医学图像融合任务中展现了优异的性能，并在统一的基准测试中证明了其在下游任务（如目标检测）中的性能提升。

论文：FusionMamba: Dynamic Feature Enhancement for Multimodal Image Fusion with Mamba

内容

该论文介绍了一个名为FusionMamba的新型多模态图像融合方法，该方法基于Mamba框架，通过动态特征增强技术，有效地结合了不同模式的信息，以创建包含全面信息和详细纹理的单个图像，通过改进的高效Mamba模型进行图像融合，该模型整合了动态卷积和通道注意力，不仅保持了Mamba的性能和全局建模能力，还减少了通道冗余并增强了局部增强能力。

论文：Shuffle Mamba: State Space Models with Random Shuffle for Multi-Modal Image Fusion

内容

该论文提出了一种名为Shuffle Mamba的新型多模态图像融合方法，该方法基于状态空间模型（SSM），引入了一种贝叶斯启发式扫描策略，称为随机洗牌（Random Shuffle），并通过理论上可行的逆洗牌操作来保持信息协调不变性，定制了Shuffle Mamba框架，深入模态感知信息表示和跨模态信息交互，确保了多模态图像融合的稳健交互和无偏全局感受野。

论文：MSFMamba: Multi-Scale Feature Fusion State Space Model for Multi-Source Remote Sensing Image Classification

内容

该论文这篇论介绍了一种名为MSFMamba的多尺度特征融合状态空间模型，用于多源遥感图像分类。该模型结合了超光谱图像（HSI）和激光雷达/合成孔径雷达（LiDAR/SAR）数据，通过三个主要部分：多尺度空间Mamba（MSpa-Mamba）块、光谱Mamba（Spe-Mamba）块和融合Mamba（FusMamba）块，来解决特征冗余和多源数据之间的异构性问题，通过扩展原始Mamba模型以适应双输入，并增强了跨模态特征交互。