2025最新方案！Mamba赋能UNet！轻松实现高效分割！

已于 2025-02-26 09:50:34 修改
阅读量1.1k 收藏 17
点赞数 18
文章标签： 人工智能 lstm transformer rnn 聚类 机器学习
于 2025-02-26 09:47:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d22800/article/details/145870344
版权

Mamba+UNet 是一种结合了状态空间模型（Mamba）和经典 UNet 架构的创新模型，旨在提升图像分割任务的性能。

我还整理出了相关的论文+开源代码，以下是精选部分论文

更多论文料可以关注：AI科技探寻，发送：111  领取更多[论文+开源码】 

论文1

标题：

VM-UNET-V2: Rethinking Vision Mamba UNet for Medical Image Segmentation

VM-UNET-V2：重新思考用于医学图像分割的视觉曼巴UNet

方法：

  • Vision State Space (VSS) Block：引入视觉状态空间块，用于捕获广泛的上下文信息，通过2D选择性扫描模块（SS2D）处理输入数据。

  • 语义和细节注入（SDI）模块：增强低级和高级特征的融合，通过注意力机制对特征图进行空间和通道注意力计算，调整特征图的尺寸以匹配目标参考。

创新点：

  • 性能提升：在ISIC17数据集上，VM-UNetV2的mIoU、DSC和Acc指标分别达到82.34%、90.31%和96.70%，相比UNetV2提升了超过2%的mIoU和DSC，准确率提升了0.38%。

  • 计算效率：模型参数量减少至17.91M，FLOPs降低至4.40G，FPS提升至32.58，相比UNetV2在FLOPs和FPS上分别提升了约20%和1.6%。

  • 长距离依赖建模：通过VSS块的线性复杂度和高效建模能力，解决了CNN在长距离依赖建模上的不足，同时避免了Transformer的二次复杂度问题。

  • 语义和细节融合：通过SDI模块将语义信息注入低级特征，同时用细节信息优化高级特征，显著提升了分割精度。

image.png

论文2

标题：

Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation

Weak-Mamba-UNet：视觉曼巴使CNN和ViT在基于涂鸦的医学图像分割中表现更好

方法：

  • 多架构融合：结合CNN（UNet）、ViT（SwinUNet）和Mamba（MambaUNet）三种架构，通过编码器-解码器网络实现局部特征提取、全局上下文理解和长距离依赖建模。

  • 伪标签生成：通过多视图交叉监督机制，将稀疏的涂鸦标注转换为密集的伪标签，用于迭代学习和网络优化。

创新点：

  • 性能提升：在MRI心脏分割数据集上，Weak-Mamba-UNet的Dice系数达到0.9171，准确率（Acc）达到99.63%，相比仅使用UNet或SwinUNet的框架，Dice系数分别提升了约0.017和0.012。

  • 多视图交叉监督：首次提出结合CNN、ViT和Mamba架构的多视图交叉监督框架，通过伪标签实现不同网络之间的协同优化，显著提升了分割精度。

  • 稀疏标注适应性：在涂鸦标注的弱监督条件下，通过伪标签生成和多网络协同训练，显著降低了对密集标注的依赖，降低了标注成本。

  • 架构互补性：验证了Mamba架构在弱监督任务中的有效性，通过结合CNN和ViT的优势，进一步提升了模型的泛化能力和分割性能。

image.png

论文3

标题：

CM-UNet: Hybrid CNN-Mamba UNet for Remote Sensing Image Semantic Segmentation

CM-UNet：用于遥感图像语义分割的混合CNN-Mamba UNet
方法：
  • CNN编码器与Mamba解码器：提出CM-UNet框架，结合CNN编码器提取局部特征和Mamba解码器聚合全局信息，实现高效的语义分割。

  • CSMamba块：引入CSMamba块作为核心分割解码器，通过通道和空间注意力增强特征交互和全局-局部信息融合。

创新点：

性能提升：在ISPRS Potsdam数据集上，CM-UNet的mF1达到93.05%，OA为91.86%，mIoU为87.21%，相比UNetformer分别提升了0.25%、0.56%和0.41%。在ISPRS Vaihingen数据集上，mIoU达到85.48%，相比其他方法提升了2.78%到16.08%。

  • 全局-局部信息融合：通过CSMamba块和MSAA模块，有效整合全局和局部信息，显著提升了对大规模遥感图像的分割性能。

  • 计算效率：CM-UNet在FLOPs、参数量和内存占用上表现出色，FLOPs仅为6.01G，参数量为12.89M，内存占用为366.33MB，同时mIoU达到85.48%，优于其他模型。

  • 架构优化：结合多尺度特征学习和多输出监督，进一步提升了模型对复杂场景的分割精度。

image.png

论文4

标题：

Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement

Mamba-SEUNet：用于单声道语音增强的Mamba UNet

方法：

  • Mamba-UNet架构：提出Mamba-SEUNet，结合Mamba和U-Net框架，通过双向Mamba块捕捉语音信号的前向和后向依赖关系。

  • TS-Mamba块：引入时间-频率Mamba块，通过双向SSM公式整合过去和未来信息，增强全局和局部特征学习。

创新点：

  • 性能提升：在VCTK+DEMAND数据集上，Mamba-SEUNet (L)的PESQ分数达到3.59，STOI为0.96，CSIG为4.80，CBAK为4.02，COVL为4.32。结合感知对比拉伸（PCS）技术后，PESQ进一步提升至3.73。

  • 计算效率：相比Transformer和Conformer，Mamba-SEUNet显著降低了计算复杂度，FLOPs仅为10.28G（Mamba-SEUNet (M)），同时性能优于Conformer和Transformer。

  • 双向信息捕捉：通过双向Mamba块，有效整合语音信号的前向和后向依赖关系，提升了对长序列语音信号的建模能力。

  • 多尺度信息融合：通过U-Net架构中的跳跃连接和多尺度特征融合，增强了对语音信号细节的恢复能力。

image.png

 更多论文料可以关注：AI科技探寻，发送：111  领取更多[论文+开源码】

Mamba-UNet：用于医学图像分割的类似UNet的纯视觉Mamba网络
AI浩
02-14 6267
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 2万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
Mamba对UNet王炸升级！全新混合架构参数小了116倍，精度依旧完成超车
学姐带你玩AI的博客
09-17 1509
UNet又升级了！北大最新提出LightM-UNet，用Mamba设计1.8M参数UNet，比nnU-Net小了116倍，计算量减少21倍，精度依然SOTA！这种将的策略利用了两者在图像处理和网络架构上的优势，既能保持较低的计算成本，又能轻松实现优异的分割性能，，是医学图像分割非常有潜力的研究方向。更赞的是，对于想发论文的同学来说，Mamba是新技术，还没那么卷，相关的，还有很多优秀的成果给我们作参考，无疑是非常好的选择。为了帮同学们抓紧机会，我已经挑选好了。
VM-UNet: Vision Mamba UNet for Medical Image Segmentation
通街是密人有的博客
02-23 4018
在医学图像分割领域，基于CNN和基于Transformer的模型都得到了广泛的探索。然而，CNN在远程建模能力方面表现出局限性，而Transformer则受到二次计算复杂性的阻碍。最近，以Mamba为例的状态空间模型(SSM)作为一种很有前途的方法出现了。它们不仅在远程相互作用建模方面表现优异，而且保持了线性计算复杂度。本文利用状态空间模型，提出了一种用于医学图像分割的U-shaped架构模型，命名为视觉Mamba UNet (VM-UNet)。
【魔改UNet系列】Mamba-UNet: 医学图像分割的UNet类纯视觉Mamba
小白学视觉
10-29 1443
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达论文信息Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image SegmentationMamba-UNet: 医学图像分割的UNet类纯视觉Mamba作者：Ziyang Wang, Jian-Qing Zheng, Yichi Zhang, Ge Cui, Lei L...
LightM-UNet：Mamba 辅助的轻量级 UNet 用于医学图像分割
AI浩
04-11 4540
UNet [16]，作为医学图像分割领域一个广为人知的算法，在涉及医学器官和病灶的各种分割任务中得到了广泛应用，涵盖了多种医学图像模态。其对称的U形编解码器架构与整体的跳跃连接为分割模型奠定了基础，催生了一系列基于U形结构的研究工作 [8,15,18]。然而，作为基于卷积神经网络（CNN）的模型，UNet受限于卷积操作的固有局部性，这限制了其理解显式全局和长距离语义信息交互的能力 [2]。一些研究尝试通过采用空洞卷积层 [5]、自注意力机制 [19] 和图像金字塔 [25] 来缓解这一问题。
VM-UNet: Vision Mamba UNet for Medical Image Segmentation——用于医学图像分割的视觉Mamba UNet
Together_CZ的博客
12-26 1927
VM-UNet: Vision Mamba UNet for Medical Image Segmentation——用于医学图像分割的视觉Mamba UNet
LightM-UNet: Mamba Assists in LightweightUNet for Medical Image Segmentation——Mamba助力轻量级UNet用于医学图像分割
Together_CZ的博客
12-26 1868
LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image Segmentation Mamba助力轻量级UNet用于医学图像分割
王炸升级！Mamba加持UNet，能发高区还不卷
2401_88556812的博客
01-07 2064
性能提升：在LiTs数据集上，与nnU-Net相比，LightM-UNet在Dice系数上提高了0.04，准确率上提高了0.02，同时在Montgomery&Shenzhen数据集上，Dice系数达到了0.9617，准确率为0.9274。计算效率：通过非对称结构设计，VM-UNet在保持性能的同时减少了参数数量和计算负载，具体数据显示，与对称结构相比，参数数量减少了0.1M，计算负载减少了0.24 GFLOPs。状态空间模型（SSM）：提出了一个基于SSM的U形架构模型VM-UNet，用于医学图像分割。
Swin-UMamba—基于 Mamba 的 UNet 和基于 ImageNet 的预训练—论文精读和代码实践
Philo的博客
03-06 6419
准确的医学图像分割需要集成多尺度信息从局部特征到全局依赖性。然而，现有方法对远程全局信息进行建模具有挑战性，其中卷积神经网络（CNN）受到其局部感受野的限制，而视觉变换器（ViT）则受到其注意力机制的高二次复杂度的影响。最近，基于 Mamba 的模型因其在长序列建模方面令人印象深刻的能力而受到极大关注。多项研究表明，这些模型在各种任务中都可以优于流行的视觉模型，提供更高的准确性、更低的内存消耗和更少的计算负担。
【专栏目录】
m0_47867638的博客
07-16 1万+
本专栏是讲解如何改进Yolov8的专栏。改进方法采用了最新的论文提到的方法。改进的方法包括：增加注意力机制、更换卷积、更换block、更换backbone、更换head、更换优化器等；每篇文章提供了一种到N种改进方法。评测用的数据集是我自己标注的数据集，里面包含32种飞机。每种改进方法我都做了测评，并与官方的模型做对比。代码和PDF版本的文章，我在验证无误后会上传到百度网盘中，方便大家下载使用。这个专栏，求质不求量，争取尽心尽力打造精品专栏！！！！！
LightM-UNet：一个基于Mamba的轻量级U形分割模型
2401_83061827的博客
04-09 2421
于是一些尝试如U-Mamba【14】，提出了一个混合的CNN-SSM块，结合了卷积层的局部特征提取能力与SSM在捕捉纵向依赖关系方面的专长但其引入了大量参数和计算负载，带来了相当大计算开销。为了评估LightM-UNet，作者将其与两种基于CNN的分割网络（nnU-Net和 SegResNet）、两种基于Transformer的网络（UNETR和 SwinUNETR）以及一种基于Mamba的网络（U-Mamba）进行了比较，同时还采用平均交并比（mloU）和Dice相似度得分（DSC）作为评估指标。
YoloV8改进策略：Block改进|Mamba-UNet改进YoloV8，打造全新的Yolo-Mamba网络
m0_47867638的博客
02-16 3981
本文尝试使用Mamba的VSSBlock替换YoloV8的Bottleneck，打造最新的Yolo-Mamba网络。在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉转换器（ViT）都取得了显著的基准成绩。前者通过其卷积操作在捕获局部特征方面表现出色，而后者则通过利用自注意力机制实现了出色的全局上下文理解。然而，这两种架构在有效建模医学图像中的长距离依赖关系时都存在局限，这对于精确分割至关重要。受到Mamba架构的启发，该架构因其处理长序列和全局上下文信息的能力以及作为国家空间模型（SSM）的增强计算
Weak-Mamba-UNet 论文学习笔记
2201_76036122的博客
10-14 1260
变量k表示类别的索引，而和分别表示第i个像素属于第k类的真实标签和预测概率。在论文中提到，涂鸦（scribble）注释Yscrib的取值范围是，这表明在这项研究中，图像分割任务涉及四个主要的类别和一个未标记的类别（None）。因此，k的取值范围是0到3，总共有4个类别。这就是为什么在公式中k的值是4的原因。每个类别对应一个索引，从0到3，用于遍历所有可能的类别，并计算每个类别的预测概率与真实标签之间的差异。
Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation
zzzyyy8的博客
09-07 3096
受以处理长序列和全局上下文信息并增强计算效率为特点的Mamba架构（作为状态空间模型SSM）的启发，我们提出了Mamba-UNet，这是一种将医学图像分割中的U-Net与Mamba能力相结合的新型架构。
Mamba入局遥感图像分割 | Samba: 首个基于SSM的遥感高分图像语义分割框架
专注计算机视觉全栈知识分享
04-05 1873
本文介绍了Samba，一种基于Mamba的高分辨率遥感图像语义分割框架，标志着Mamba在该领域的首次应用。通过在LoveDA数据集上性能的评估，Samba超越了最先进的CNN-based和ViT-based的方法，设定了新的性能基准，并展示了Mamba架构在高分辨率遥感影像语义分割中的有效性和潜力。如果你对本文有任何的观点或疑问，欢迎评论区下方留言讨论。同时也欢迎对前沿AI技术感兴趣的同学扫添加微信好友: cv_huber，备注“交流学习”即可。
Sigma：用于多模态语义分割的Mamba网络
qq_45880982的博客
04-12 3148
多模态语义分割显著提高了AI代理在不利条件下的感知和场景理解能力，尤其是在低光或过度曝光的环境中。利用热成像和深度等额外模态（X模态）与传统RGB数据相结合，提供了互补信息，使得分割更加健壮和可靠。在这项工作中，作者介绍了Sigma，一个用于多模态语义分割的暹罗眼镜蛇网络，它采用了选择性结构化状态空间模型Mamba。与依赖于局部感受野有限的CNN或以二次复杂度为代价提供全局感受野的视觉 Transformer （ViTs）的常规方法不同，作者的模型以线性复杂度实现了全局感受野的覆盖。
Mamba-UNet
最新发布
02-15
### Mamba-UNet 项目概述 Mamba-UNet 是一种基于 UNet 架构并集成 Mamba 技术的先进解决方案，特别适用于医学图像分割领域[^1]。此项目不仅提供了高效的模型训练能力，还通过采用轻量化的 CNN 和 Transformer 替代方案来适应计算资源有限的实际医疗环境需求。 #### 项目目录结构及介绍 项目的文件夹布局遵循常见的 Python 包组织方式： - `data`: 存储数据集以及预处理后的样本。 - `models`: 放置定义好的神经网络架构代码。 - `utils`: 实用工具函数集合，如评估指标计算、可视化辅助等。 - `train.py`: 主要负责启动整个训练流程脚本。 - `predict.py`: 提供预测功能入口点，支持单张图片推理或多批次测试集批量处理。 #### 安装指南 为了顺利运行该项目，建议按照如下步骤完成依赖项安装： ```bash # 克隆仓库到本地机器上 git clone https://gitcode.com/gh_mirrors/ma/Mamba-UNet.git cd Mamba-UNet/ # 创建虚拟环境 (推荐Python版本 >=3.8) conda create -n mamba-unet python=3.9 conda activate mamba-unet # 安装必要的库和包 pip install -r requirements.txt ``` #### 配置说明 配置参数主要集中在`config.yaml` 文件内，用户可以根据具体应用场景调整超参设置，比如学习率、批大小、迭代次数等重要选项。对于硬件加速的支持，默认情况下会优先检测 GPU 是否可用；如果不存在，则自动切换至 CPU 模式执行运算操作。 #### 使用示例 下面给出一段简单的例子展示如何利用已训练完毕的模型来进行新输入图像的分类任务： ```python from predict import PredictPipeline import cv2 if __name__ == "__main__": pipeline = PredictPipeline(model_path="path/to/trained/model.pth") img = cv2.imread("test_image.png", flags=cv2.IMREAD_GRAYSCALE) result_mask = pipeline.predict(img) # 将结果保存为PNG格式文件 cv2.imwrite('output_segmentation_result.png', result_mask * 255) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值