Mamba卷到多模态融合！最新SOTA推理提速49%，GPU内存使用减少83.7%

深度之眼

已于 2024-08-06 18:28:29 修改

阅读量938

点赞数 17

分类专栏：人工智能干货深度学习干货文章标签：深度学习论文多模态融合 mamba

于 2024-08-06 18:27:34 首次发布

本文链接：https://blog.csdn.net/weixin_42645636/article/details/140963009

版权

512 篇文章 189 订阅

订阅专栏

485 篇文章 27 订阅

订阅专栏

华科大最新提出Coupled Mamba，利用耦合的状态空间模型来增强不同模态之间的信息融合，实现了49%的推理提速，减少了83.7%的GPU内存占用。

这类基于Mamba的多模态融合方法利用了Mamba独特的结构设计和算法优化，能更有效地提取和融合不同模态的特征信息，从而提高系统的整体性能和处理效率。

也正因它的高效率和高准确率，这种结合策略成为了多模态数据处理的重要方法，在解决图像融合、语义分割、目标检测等任务方面给我们提供了新的思路和创新空间。

目前已有多个最新成果在各项关键指标上都达到SOTA。为帮助有论文需求的同学快速掌握其最新动态，我这次整理了11个Mamba+多模态融合最新方案，开源代码也分享了。

论文原文+开源代码需要的同学看文末

方法：本文提出了一种名为Coupled Mamba的新方法，这种方法基于 Mamba 模型，通过状态的演变来实现模态间的融合，特别适用于处理具有复杂内部和跨模态相关性的多模态数据。与现有最先进方法相比，Coupled Mamba推理速度提高了 49%，GPU 内存使用减少了 83.7%。

创新点：

Coupled Mamba是一种创新的方法，旨在通过在状态空间中利用状态演化链来增强多模态融合的效果。
Coupled Mamba通过在状态转换之前进行求和，提出了一种更加内存高效的方法，以实现相似的性能并提高计算效率。
Coupled Mamba通过耦合多个模态的状态链，同时保持内部模态状态过程的独立性，解决了多模态融合中的挑战，同时在硬件感知并行设计下实现了高效的耦合状态转换方案。

方法：本文介绍了一种多模态大型语言模型（MLLM）ML-Mamba，该模型采用了效率高的Mamba-2模型来替代传统的Transformer基础模型，并探索了将二维视觉选择性扫描机制集成到多模态学习中的方法。

创新点：

引入了一种新颖的多模态连接器，用于处理计算机视觉中模糊因果关系的挑战。MSC模块通过引入两种2D扫描机制，将传统的状态空间模型（SSM）的1D序列处理能力和2D非因果图像信息进行了连接。
ML-Mamba使用了最新的Mamba-2语言模型作为基础模型。相比传统的Transformer模型，Mamba-2具有更高的计算效率和更好的序列建模能力。

方法：论文提出了一种名为CFMW的新方法，该方法利用了 Mamba 模型来增强在恶劣天气条件下的检测精度。CFMW在恶劣天气条件下的多光谱对象检测任务中取得了显著的性能提升，实现了约17%的检测性能改进，并在节省51.2% GPU内存的同时，与现有的最先进方法相比，在准确性上提高了约8%。

创新点：

引入了一个新的任务，即在恶劣天气条件下进行可见光-红外目标检测，并开发了SWVID新数据集，模拟真实世界的环境。SWVID包括60000对可见光-红外图像和标签，涵盖了雨、雾和雪等天气条件。
提出了一个新的方法，称为CFMW，用于在恶劣天气条件下进行多光谱目标检测。
引入了一种新的Weather Removal Diffusion Model和Cross-modality Fusion Mamba 模块，以同时解决图像去除天气和可见光-红外目标检测任务。

方法：论文提出了一种名为Cobra的新型多模态大型语言模型，该模型将高效的Mamba语言模型扩展到多模态输入，以提高推理效率。实验证明Cobra在克服视觉幻觉和空间关系判断方面表现良好，并且即使参数数量只有LLaVA的约43%，也能达到与LLaVA相当的性能。

创新点：

关注下方《学姐带你玩AI》🚀🚀🚀

回复“曼巴多模态”获取全部论文+开源代码

码字不易，欢迎大家点赞评论收藏

深度之眼

关注

专栏目录