图像分割 | 使用UltraLight-VM-UNet训练自己的数据集（Mamba+UNet医学影像分割实战）

已于 2024-11-12 09:39:35 修改
阅读量816 收藏 2
点赞数 1
分类专栏： 智能医疗 文章标签： 人工智能 opencv python 图像处理 健康医疗
于 2024-10-17 13:35:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiRongLu_/article/details/142820490
版权

        一种创新的超轻量级医学图像分割网络UltraLight VM-UNet[1]，该网络通过将最新的状态空间模型（SSM）技术——Mamba，与经典的UNet架构相结合，该论文实现了皮肤病变分割任务 中参数数量和计算负载的显著减少。UltraLight VM-UNet的参数仅为0.049M，GFLOPs为0.060，相比传统模型在性能上保持竞争力甚至更优。该论文还深入分析了Mamba模型中参数影响的关键因素，并基于这些发现提出了一种称为PVM层的并行视觉Mamba层，用于在保持通道总数不变的情况下实现低的计算负载和卓越的性能。

论文：2403.20035 (arxiv.org)

代码：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
参数仅有0.049M！基于Mamba的医学图像分割新SOTA来了！
学姐带你玩AI的博客
04-09 4230
目前，基于CNN和Transformer的医学图像分割面临着许多挑战。比如CNN在长距离建模能力上存在不足，而Transformer则受到其二次计算复杂度的制约。相比之下，Mamba的设计允许模型在保持线性计算复杂度的同时，仍然能够捕捉到长距离的依赖关系。因此，更有效地处理医学图像中复杂的结构和模式。以上海交大提出的VM-UNet为例：作为首个将Mamba结构融入UNet的模型，VM-UNet引入了视觉态空间（VSS）块作为基础块以捕捉广泛的上下文信息，并构建了一个非对称的编码器-解码器结构。
UltraLight-VM-UNet
whaosoft143ai的博客
04-04 1147
通过结合Mamba模型的优势和UNet架构的高效性，UltraLight VM-UNet旨在实现在保持高分割性能的同时，大幅度减少模型的参数量和计算需求。更令人振奋的是，UltraLight VM-UNet在保持模型轻盈的同时，并没有牺牲分割性能，其在三个公开的皮肤病变数据集上的表现与那些参数量更大的模型相比毫不逊色。在这篇精彩的论文中，作者们巧妙地将最新的状态空间模型（SSMs）技术——Mamba，融入到经典的UNet架构中，创造出了一种名为 UltraLight VM-UNet 的新型轻量级模型。
论文解读 | Mamba系列 | UltraLight VM-UNet: 并行视觉Mamba显著减少皮肤病变分割参数
m0_61574757的博客
07-27 1615
本文提出了一种创新的超轻量级医学图像分割网络UltraLight VM-UNet，该网络通过将最新的状态空间模型（SSM）技术——Mamba，与经典的UNet架构相结合，实现了皮肤病变分割任务中参数数量和计算负载的显著减少。UltraLight VM-UNet的参数仅为0.049M，GFLOPs为0.060，相比传统模型在性能上保持竞争力甚至更优。
UltraLight VM-UNet：并行视觉Mamba显著减少参数用于皮肤病变分割
Together_CZ的博客
12-26 1117
UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation UltraLight VM-UNet：并行视觉Mamba显著减少参数用于皮肤病变分割
UltraLight VM-UNet：平行视觉 Mamba 显着减少皮肤病变分割参数
qq_45880982的博客
04-11 3507
传统上，为了提高模型分割性能，大多数方法倾向于添加更复杂的模块。但这并不适用于医疗领域，尤其是在移动医疗设备上，由于计算资源限制，计算负担重的模型不适合真实的临床环境。最近，以Mamba为代表的状态空间模型（SSMs）成为传统卷积神经网络（CNNs）和Transformers的有力竞争者。在本文中，作者深入探讨了Mamba中参数影响的关键要素，并基于此提出了超轻量级视觉Mamba UNet（UltraLight VM-UNet）。
LightM-UNet：Mamba助力轻量级UNet进行医学图像分割
hellozhxy的博客
05-06 863
LightM-UNet：一种轻量级 Mamba UNet，它将 Mamba 和 UNet 集成在一个轻量级框架中，实现了卓越的分割性能，同时将参数和计算成本分别大幅降低了 116 倍和 21 倍！代码即将开源！
【Mamba】医学图像分割的Mamba评估指标参考（更新中...）
Edward的博客
04-16 1628
医学图像分割的Mamba评估指标参考
医图论文 ICLR‘25 | 超轻量级UNet：重新思考带有多核轻量级卷积的U形网络用于医学图像分割
xx_nm98的博客
11-25 3043
在本文中，作者介绍了UltraLightUNet（2D和3D），这是一种用于医学图像分割的超轻量级、多核U形网络。UltraLightUNet的核心是由一种新的多核反向残差（MKIR）块组成，该块可以通过多个内核高效处理图像，同时捕获复杂的空间关系。此外，作者的多核反向残差注意力（MKIRA）块通过新的复杂卷积多焦点注意力机制来提炼和强调图像中的重要特征。UltraLightUNet在编码器中策略性地使用MKIR块进行特征提取，在解码器中使用MKIRA块进行特征提炼，从而确保在每个阶段都有针对性地增强特征。
【每天一篇深度学习论文】超轻量级的多核U形网络UltraLightUNet
Magnolia_He的博客
12-06 1021
论文提出一种超轻量级的多核U形网络UltraLightUNet，用于医学图像分割，通过引入多核倒残差(MKIR)和多焦点注意力机制(MKIRA)提高特征编码和细化能力，在多个医学图像分割基准测试中超越SOTA，特别是在DICE评分上超越了TransUNet。
UltraLightUNet：重新思考带有多核轻量级卷积的U形网络用于医学图像分割
weixin_56097064的博客
11-26 1168
在本文中，作者介绍了UltraLightUNet（2D和3D），这是一种用于医学图像分割的超轻量级、多核U形网络。UltraLightUNet的核心是由一种新的多核反向残差（MKIR）块组成，该块可以通过多个内核高效处理图像，同时捕获复杂的空间关系。此外，作者的多核反向残差注意力（MKIRA）块通过新的复杂卷积多焦点注意力机制来提炼和强调图像中的重要特征。
出场即称霸：CNN+医学图像分割！这高端局思路可得接稳了！
学姐带你玩AI的博客
12-04 1368
医学图像分割方向又来新突破啦！这次是ICRL 2025的投稿论文，提出了一种新型超轻量级CNN架构UltraLightUNet，在参数数量和计算复杂度上极为精简（分别减少333倍和123倍），同时保持了优异的分割性能！这显然得益于CNN在医学图像分割中的诸多优势：不仅能自动提取图像特征，减少手工设计特征的复杂性；它端到端的训练方式还让模型可以直接从数据中学习，显著提高分割的准确性和效率！因此对比传统，这种方法更适合处理复杂图像结构和噪声，是医疗图像领域未来的研究趋势，非常推荐有发文需求的同学考虑！
SAM-VMNet：用于冠状动脉造影血管分割的深度神经网络
weixin_46549531的博客
09-27 1894
SAM-VMNet：用于冠状动脉造影血管分割的深度神经网络 摘要 冠状动脉疾病(CAD)是心血管领域最为普遍的一种疾病，也是全球范围内导致死亡的重要因素之一。冠状动脉造影(CTA)图像被视为冠心病诊断的权威标准，通过对CTA图像进行血管分割和狭窄检测，医生能够更精确地诊断冠心病。为了结合基础模型和领域特定模型的优势，并在有限的训练样本下实现高精度、全自动的分割与检测，我们提出了一种全新的架构SAM-VMNet。该模型结合了MedSAM强大的特征提取能力和VM-UNet的视觉状态空间模型具有线性复杂度的优势，
LightM-UNet：Mamba 辅助的轻量级 UNet 用于医学图像分割
AI浩
04-11 4585
UNet [16]，作为医学图像分割领域一个广为人知的算法，在涉及医学器官和病灶的各种分割任务中得到了广泛应用，涵盖了多种医学图像模态。其对称的U形编解码器架构与整体的跳跃连接为分割模型奠定了基础，催生了一系列基于U形结构的研究工作 [8,15,18]。然而，作为基于卷积神经网络（CNN）的模型，UNet受限于卷积操作的固有局部性，这限制了其理解显式全局和长距离语义信息交互的能力 [2]。一些研究尝试通过采用空洞卷积层 [5]、自注意力机制 [19] 和图像金字塔 [25] 来缓解这一问题。
VM-Unet
ganchuanl的博客
07-29 417
Channels:- defaults- nvidia- pytorch。
《VM-UNet: Vision Mamba UNet for Medical Image Segmentation》论文阅读及代码复现
m0_58520624的博客
03-05 4408
Patch Embedding layer将输入图像划分为4*4的不重叠补丁，随后将图像的维度映射到C（默认96），该过程得到嵌入图像H4×W/4×C，然后编码器的4个stage进行特征提取，前3个stage结束时应用补丁合并操作以减少输入特征的高度和宽度，同时增加通信数量。在本文中，我们首次引入了一种纯的基于SSM的医学图像分割模型，将VM-UNet作为基线。3） 在医学图像分割任务中为纯基于SSM的模型建立了基线，提供了有价值的见解，为开发更高效、更有效的基于SSM分割方法铺平了道路。
VM_UNet：Vision Mamba UNet for Medical Image Segmentation环境配置之莫名其妙的报错selective_scan库
weixin_51236282的博客
03-04 1610
然后我就机缘巧合的在pycharm软件里面直接又安装这两个库（本来我用pip命令确实已经安装好了这两个库）加载好后运行就能跑通了，我只能说一切就像玄学。而且我的破电脑像有那个大病在软件内安装库的时候一直installing，我把它叉掉又点ok的时候软件右下角的那个状态栏又显示在安装加载那个库并且下好了。我翻遍全网，去问作者和一些跑过这个代码的博主都没得到解决方法，作者也只告诉我按照他那个流程配置。首先按照作者的源码里的readme一步步配置环境。反正我就这么搞好了·，两个字就是无语，搞了我两天。
王炸升级！Mamba加持UNet，能发高区还不卷
2401_88556812的博客
01-07 2091
性能提升：在LiTs数据集上，与nnU-Net相比，LightM-UNet在Dice系数上提高了0.04，准确率上提高了0.02，同时在Montgomery&Shenzhen数据集上，Dice系数达到了0.9617，准确率为0.9274。计算效率：通过非对称结构设计，VM-UNet在保持性能的同时减少了参数数量和计算负载，具体数据显示，与对称结构相比，参数数量减少了0.1M，计算负载减少了0.24 GFLOPs。状态空间模型（SSM）：提出了一个基于SSM的U形架构模型VM-UNet，用于医学图像分割。
UltraLight VM-UNet: Parallel Vision MambaSignificantly Reduces Parameters for Skin LesionSegmentat
m0_56487684的博客
11-22 198
它的核心思想就是将通道数分为4个部分，然后进行平行计算，从而降低参数量，计算量。这篇文章主要讲的是一个轻量化模型，它旨在尽可能保证准确率 的同时，大幅度降低模型的参数量，进而降低计算成本。这篇文章轻量化，或者说减少参数的方式，主要是提出了一个PVM模块，它是让X分成几个并行的通道，然后共享参数，这使得参数大大降低，进而实现轻量化。先用卷积模块提取浅层信息，其中每次卷积，都包含了一个3x3的卷积核，以及一个最大池化操作。Q：模型的参数量怎么计算的，怎么这样之后就大幅度降低了总的参数量了呢？
vm-unet复现
最新发布
04-04
### 关于 VM-UNet 的复现方法 VM-UNet 是一种基于 Mamba 模型改进的神经网络架构，专门用于医学图像分割任务。其核心思想在于通过优化卷积操作和引入因果卷积来提升模型效率与性能[^1]。 #### 复现所需资源 为了成功复现 VM-UNet 模型，可以参考以下资源： 1. **官方代码仓库**：由开发者提供的 GitHub 地址已经明确指出该模型的官方实现位于 `JCruan519/VM-UNet` 中[^3]。此库包含了完整的训练脚本、预处理工具以及测试流程。 2. **依赖安装**：如果计划使用 PyTorch 进行开发，则需下载并安装对应的轮子文件（`.whl`），这些文件可以从指定链接获取[^2]。例如，针对 CUDA 11.8 和 Python 3.8 的环境配置如下命令可帮助完成必要的包管理： ```bash pip install https://github.com/state-spaces/mamba/releases/download/v1.0.1/mamba_ssm-1.0.1+cu118torch1.13cxx11abiFALSE-cp38-cp38-linux_x86_64.whl ``` #### 主要模块解析 以下是 VM-UNet 的主要组成部分及其功能描述： 1. **Mamba SSM 结构** 此部分负责降低传统 CNN 架构中的计算复杂度至线性级别。尽管未提供具体实验数据支持这一论断，但从理论上讲确实能够显著减少参数量从而加速推理过程。 2. **Causal Convolution Layer** 利用因果卷积替代标准二维卷积层，在保持时间序列一致性的同时增强了局部特征提取能力。相关实现细节可通过阅读 causal_conv1d 库文档进一步了解。 3. **Asymmetric VSS Blocks Design** 不对称设计的选择并非随意为之而是经多次迭代调优得出的结果。这种策略有助于平衡不同尺度间的信息传递效果进而改善最终预测精度。 #### 示例代码片段 下面给出一段简单的初始化逻辑供参考： ```python import torch from mamba_ssm import MambaModel def load_vm_unet(pretrained=False, device='cpu'): model = MambaModel( input_channels=1, output_classes=2, depth=5, start_filters=64 ) if pretrained: checkpoint_path = 'path_to_pretrained_weights.pth' state_dict = torch.load(checkpoint_path, map_location=device) model.load_state_dict(state_dict) return model.to(device) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程日记✧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值