又一篇CCF-A!多尺度Mamba“ 杀疯了 ” ....

多尺度Mamba具备强大全局建模、高效计算性能、良好可扩展性及多尺度特征融合能力,在复杂序列数据处理中表现相当好。

在各大顶会中,多尺度Mamba也是很受欢迎的选题。比如收录于医图顶会 MICCAI的基于多尺度融合的Mamba架构Deform-Mamba,实现了SOTA性能!还有NeurIPS 2024上的多尺度视觉MSVMamba,兼顾效率与性能,适配各种模型配置,具有极高适应性和可扩展性!

另外还有超低参数量和内存,但性能依然优越的MUSE...可以说优秀成果相当多了,强烈建议想发论文的同学研读。本文整理了11种多尺度Mamba最新的成果,方便有需求的同学快速了解这方向的前沿技术,找到灵感,代码已附。

全部论文+开源代码需要的同学看文末

Deform-Mamba Network for MRI Super-Resolution

方法:本文介绍了一种基于多尺度融合的Mamba架构,名为Deform-Mamba,用于MRI图像超分辨率重建。其核心思想是通过结合多尺度的局部和全局特征来提升MRI图像的分辨率,既能高效捕捉局部和全局图像信息,又克服了传统CNN和Transformer方法的局限性。

创新点:

  • 提出了一种新的架构“变形-Mamba”,用于MRI图像超分辨率。

  • 设计了一个多视图上下文模块,放置在瓶颈层中,以增强多尺度上下文信息的融合。

  • 引入了一种对比边缘损失(CELoss),专注于增强MR图像的边缘纹理和对比度。

Multi-Scale VMamba: Hierarchy in Hierarchy Visual State Space Model

方法:本文介绍了一种名为Multi-Scale VMamba (MSVMamba)的新型视觉骨干网络,它通过多尺度2D扫描技术和卷积前馈网络(ConvFFN)在计算复杂度和信息传递上取得平衡,显著提升了在图像分类和下游任务中的表现。

创新点:

  • 创新引入了一种多尺度2D扫描策略,通过将扫描方向分为原始分辨率和下采样两组,既保持了长程依赖的学习能力,又减少了冗余和计算复杂度。

  • 在VMamba的基础上,提出了层次化多扫描设计,通过在每个块中引入卷积前馈网络,增强了通道信息交换和局部特征捕获的能力。

  • 将MS2D技术与ConvFFN集成到新的多尺度状态空间块(MS3)中,展示了适应不同规模模型配置的灵活性和可扩展性。

Selective and multi-scale fusion Mamba for medical image segmentation

方法:论文主要介绍了一种基于多尺度融合的Mamba架构,名为SMM-UNet,用于医学图像分割任务。旨在通过设计 SF-Mamba 层以捕捉局部边界和全局轮廓的特征,填补现有研究在精细化和宏观特征融合方面的空白。

创新点:

  • 该结构通过动态调整局部和全局特征的权重分布,灵活选择有利于分割任务的特征信息,从而优化了分割性能。

  • 利用Mamba结构融合来自不同尺度的特征图的全局信息,提升了对不同形状病变区域的分割鲁棒性。

  • SMM-UNet仅有0.038M参数,是已知参数最少的医学图像分割模型之一,为轻量化模型设计提供了新方向。

MSFMamba: Multi-Scale Feature Fusion State Space Model for Multi-Source Remote Sensing Image Classification

方法:论文旨在通过提出一种新的多尺度特征融合Mamba (MSFMamba) 网络,利用状态空间模型解决多源遥感数据(高光谱图像和激光雷达/合成孔径雷达)的联合分类问题,填补现有方法在异质特征融合和计算复杂度方面的研究空白。

创新点:

  • MSFMamba网络引入了一个多尺度空间特征块(MSpa-Mamba),通过多尺度策略降低计算成本并缓解特征冗余,确保高效的空间特征建模。

  • MSFMamba设计了一个融合Mamba块(Fus-Mamba),将原Mamba架构扩展为支持双输入,增强了跨模态特征交互,实现了HSI和LiDAR/SAR数据之间的无缝融合。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“多尺度曼巴”获取全部方案+开源代码

码字不易,欢迎大家点赞评论收藏

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值