论文解读 | Mamba系列 | UltraLight VM-UNet: 并行视觉Mamba显著减少皮肤病变分割参数

于 2024-07-27 20:36:38 发布
阅读量412 收藏 12
点赞数 13
分类专栏： Mamba系列 论文阅读笔记 文章标签： 论文阅读 图像处理 计算机视觉 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61574757/article/details/140740657
版权

目录

概览

Abstract

Background

Method

Experiment

Conclusion

Assignment

历史文章


概览


论文标题：
UltraLight VM-UNet: Parallel Vision Mamba Significantly Reduces Parameters for Skin Lesion Segmentation
论文链接：
arxiv.org/pdf/2403.20035
代码链接：
https://github.com/wurenkai/UltraLight-VM-UNet


Abstract


本文提出了一种创新的超轻量级医学图像分割网络UltraLight VM-UNet，该网络通过将最新的状态空间模型（SSM）技术——Mamba，与经典的UNet架构相结合，实现了皮肤病变分割任务中参数数量和计算负载的显著减少。UltraLight VM-UNet的参数仅为0.049M，GFLOPs为0.060，相比传统模型在性能上保持竞争力甚至更优。作者还深入分析了Mamba模型中参数影响的关键因素，并基于这些发现提出了一种称为PVM层的并行视觉Mamba层，用于在保持通道总数不变的情况下实现最低的计算负载和卓越的性能。


本文贡献：


1. 创新模型架构：提出了UltraLight VM-UNet，该模型将Mamba技术引入UNet架构，实现了参数和计算负载的极大降低，同时保持分割性能。


2. PVM层设计：提出了一种新的并行视觉Mamba层（PVM层），通过并行处理特征并减少每个VSS块的通道数，显著降低了模型参数和计算量。


3. 参数影响分析：深入分析了Mamba模型中参数数量激增的关键因素，为轻量级模型设计提供了理论基础。


4. 实验验证：在三个公开的皮肤病变数据集上进行了实验，证明了UltraLight VM-UNet的优越性能和竞争力。


Background


在医学图像分割领域，特别是皮肤病变分割中，深度学习模型虽然表现出色，但往往伴随着庞大的参数量和高计算需求，这限制了它们在资源受限的移动医疗设备上的应用。因此，开发轻量级且高效的模型成为研究热点。近年来，状态空间模型（SSMs）因其在处理序列数据方面的高效性和灵活性而受到关注，其中Mamba模型尤为突出。


Method


1. 并行视觉Mamba层（PVM Layer）


技术细节：PVM层是UltraLight VM-UNet模型的核心创新点。它通过将输入特征分割成多个并行分支（通常为四个），每个分支处理的通道数为原始通道数的四分之一，从而显著降低了计算负载和参数数量。每个分支通过VSS Block（Vision Mamba Block）进行处理，然后通过残差连接和调整因子进行优化，最后通过拼接操作合并回原始通道数的特征。


创新点：PVM层在保持处理通道总数不变的情况下，实现了最低的计算负载和优异的性能，这是通过并行处理特征和减少每个分支的通道数来实现的。


2. U-Net架构的融合


技术细节：UltraLight VM-UNet采用了经典的U-Net架构，该架构包含一个编码器用于提取图像特征，和一个解码器用于根据提取的特征重建分割图。模型的前三层使用传统的卷积模块来提取浅层特征，而后三层则采用PVM Layer来提取更深层次的特征。


创新点：通过将Mamba模型的优势与UNet架构的高效性相结合，UltraLight VM-UNet在保持高分割性能的同时，大幅度减少了模型的参数量和计算需求。


3. 注意力桥接模块


技术细节：在跳跃连接路径中，UltraLight VM-UNet使用了通道注意力桥接（CAB）和空间注意力桥接（SAB）模块，以实现多尺度信息的融合。CAB模块通过全局平均池化、拼接操作、全连接层和Sigmoid激活函数来增强通道间的信息交互；SAB模块则包含最大池化、平均池化和扩展卷积等操作，以捕获空间上的重要特征。


创新点：注意力桥接模块的使用进一步提高了模型的收敛能力和对病变的敏感性，有助于提升分割性能。


Experiment

数据集：实验在ISIC2017、ISIC2018和PH2三个主流的皮肤病变分割数据集上进行。


实验环境：使用Python 3.8和Pytorch 1.13.0，在NVIDIA V100 GPU上进行模型训练和测试。


实验结果：UltraLight VM-UNet在三个数据集上均表现出色，其参数数量和GFLOPs远低于其他轻量级模型，但分割性能相当甚至更优。

 

 
消融实验：通过消融实验验证了PVM层对降低参数数量和计算负载的有效性，以及CAB和SAB模块对提升模型性能的作用。


Conclusion


本文提出了一种超轻量级的医学图像分割网络UltraLight VM-UNet，通过引入PVM层并结合CAB和SAB模块，实现了在保持高分割性能的同时显著降低参数数量和计算负载。实验结果表明，UltraLight VM-UNet在皮肤病变分割任务中表现出色，具有广泛的应用前景。此外，本文对Mamba模型中参数影响的分析为未来的轻量级模型设计提供了宝贵的理论支持。


Assignment

轻量化模型的重要性：在资源受限的环境下，轻量化模型的研究具有重要意义。本文提出的UltraLight VM-UNet为移动医疗设备上的实时医学图像分析提供了新的解决方案。


新技术融合：将最新的状态空间模型（如Mamba）与传统深度学习架构（如UNet）相结合，可以创造出更具创新性和实用性的模型。


参数优化与性能平衡：深入分析模型中的参数影响因素，并通过合理的架构设计实现参数和性能的平衡，是提升模型实用性的关键。


多尺度信息融合：通过引入注意力机制等模块实现多尺度信息的有效融合，可以提升模型对复杂病变的分割能力。

历史文章

论文解读 | TMI2024 使用跨风格一致性进行半监督医学图像分割：结合形状感知和局部上下文约束

论文解读 | Mamba系列 | I2I-Mamba: 通过选择性状态空间建模的多模态医学图像合成

想了解更多医学图像论文资料请移步公主👸号哦~~~后期将持续更新！！
关注我，让我们一起学习新知识，一起进步吧~~~

不想做程序媛的Candice
关注
  • 13
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
Philo的博客
02-26 9488
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
Mamba-UNet：用于医学图像分割的类似UNet的纯视觉Mamba网络
AI浩
02-14 3891
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
UltraLight VM-UNet：平行视觉 Mamba 显着减少皮肤病变分割参数
qq_45880982的博客
04-11 2462
传统上，为了提高模型分割性能，大多数方法倾向于添加更复杂的模块。但这并不适用于医疗领域，尤其是在移动医疗设备上，由于计算资源限制，计算负担重的模型不适合真实的临床环境。最近，以Mamba为代表的状态空间模型（SSMs）成为传统卷积神经网络（CNNs）和Transformers的有力竞争者。在本文中，作者深入探讨了Mamba中参数影响的关键要素，并基于此提出了超轻量级视觉Mamba UNet（UltraLight VM-UNet）。
《VM-UNet: Vision Mamba UNet for Medical Image Segmentation》论文阅读及代码复现
m0_58520624的博客
03-05 3087
Patch Embedding layer将输入图像划分为4*4的不重叠补丁，随后将图像的维度映射到C（默认96），该过程得到嵌入图像H4×W/4×C，然后编码器的4个stage进行特征提取，前3个stage结束时应用补丁合并操作以减少输入特征的高度和宽度，同时增加通信数量。在本文中，我们首次引入了一种纯的基于SSM的医学图像分割模型，将VM-UNet作为基线。3） 在医学图像分割任务中为纯基于SSM的模型建立了基线，提供了有价值的见解，为开发更高效、更有效的基于SSM分割方法铺平了道路。
UltraLight-VM-UNet
whaosoft143ai的博客
04-04 625
通过结合Mamba模型的优势和UNet架构的高效性，UltraLight VM-UNet旨在实现在保持高分割性能的同时，大幅度减少模型的参数量和计算需求。更令人振奋的是，UltraLight VM-UNet在保持模型轻盈的同时，并没有牺牲分割性能，其在三个公开的皮肤病变数据集上的表现与那些参数量更大的模型相比毫不逊色。在这篇精彩的论文中，作者们巧妙地将最新的状态空间模型（SSMs）技术——Mamba，融入到经典的UNet架构中，创造出了一种名为 UltraLight VM-UNet 的新型轻量级模型。
VM-UNet: Vision Mamba UNet for Medical Image Segmentation
qq_40734883的博客
04-09 1412
VM-UNet：基于视觉Mamba UNet架构的医学图像分割
论文解读 | Mamba系列 | I2I-Mamba: 通过选择性状态空间建模的多模态医学图像合成
最新发布
m0_61574757的博客
07-26 561
本文提出了I2I-Mamba，一种基于选择性状态空间建模（SSM）的多模态医学图像合成方法。I2I-Mamba通过引入选择性状态空间模型，有效解决了传统方法在跨模态医学图像合成中存在的计算复杂度高、信息丢失等问题。该方法能够在保持高质量图像生成的同时，实现不同模态医学图像之间的灵活转换，为医学诊断、治疗计划制定等提供了有力支持。实验结果表明，I2I-Mamba在多个数据集上均取得了优异的表现，与现有方法相比，在图像质量、合成效率等方面均有所提升。1. 作者首次提出了。
CM-UNet: Hybrid CNN-Mamba UNet for Remote Sensing Image Semantic Segmentation
qq_44750091的博客
07-02 896
在本文中，我们提出了 CM-UNet，包括用于提取局部图像特征的基于 CNN 的编码器和用于聚合和集成全局信息的基于 Mamba 的解码器，促进遥感图像的高效语义分割。具体来说，引入 CSMamba 块来构建核心分割解码器，该解码器采用通道和空间注意力作为 vanilla Mamba 的门激活条件，以增强特征交互和全局局部信息融合。，以及从左下角到右上角。我们的 CM-UNet 框架如图 2 (a) 所示，包含三个核心组件：基于 CNN 的编码器、MSAA 模块和基于 CSMamba 的解码器。
参数仅有0.049M！基于Mamba的医学图像分割新SOTA来了！
学姐带你玩AI的博客
04-09 2872
目前，基于CNN和Transformer的医学图像分割面临着许多挑战。比如CNN在长距离建模能力上存在不足，而Transformer则受到其二次计算复杂度的制约。相比之下，Mamba的设计允许模型在保持线性计算复杂度的同时，仍然能够捕捉到长距离的依赖关系。因此，更有效地处理医学图像中复杂的结构和模式。以上海交大提出的VM-UNet为例：作为首个将Mamba结构融入UNet的模型，VM-UNet引入了视觉态空间（VSS）块作为基础块以捕捉广泛的上下文信息，并构建了一个非对称的编码器-解码器结构。
pos-mamba-sdk:用于在Mamba Web环境中进行开发的SDK
05-15
# Create a new mamba app at 'my-mamba-app' directory mamba new app my-mamba-app ? Name: My Mamba App ? Version: 0.0.1 ? Description: My new Mamba app 手动地 # Create and enter your ne
mamba-ui:Mamba UI是一个免费的开源UI套件，包含50多个Tailwind CSS组件和模板
05-02
Mamba UI是基于Tailwind CSS的免费，开源的漂亮UI元素集合，任何人都可以在几分钟内轻松构建网站。 在查看该工具包。 所有组件都是HTML和CSS的好组件，但是由于，无需编写复杂CSS规则。 Tailwind CSS是一个实用...
Mamba selective-scan-cuda-linux-gnu.so
05-13
安装成功后，还是遇到ImportError xxxx selective_scan_cuda.cpython-xxx-linux-gnu.so undefined symbol，用此编译好的文件进行替换即可
PyPI 官网下载 | mamba_gator-4.1.0-py2.py3-none-any.whl
02-07
《PyPI官网下载：mamba_gator-4.1.0-py2.py3-none-any.whl详解》 PyPI（Python Package Index）是Python开发者的重要资源库，它提供了大量预构建的Python软件包，方便用户下载和安装。在Python的世界里，mamba_...
Python库 | akc_mamba-2.1.0-py3-none-any.whl
03-27
资源分类：Python库 所属语言：Python 资源全名：akc_mamba-2.1.0-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
《Dynamic Statistical Learning in Massive Datastreams》论文阅读笔记
Keep_Calm_的博客
07-24 681
动态跟踪和筛选框架（DTS）：论文提出了一个在线学习和模型更新的新框架，称为动态跟踪和筛选（DTS）。这个框架能够处理数据流中的动态变化，实时更新统计模型和推断结果。线性变化系数模型：在数据流的分析中，论文采用了一种特殊的统计模型，称为线性变化系数模型。这个模型允许研究者
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 1187
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
【时间动作定位】End-to-end Temporal Action Detection with Transformer 论文阅读
weixin_44609958的博客
07-24 803
时序动作检测（TAD）旨在确定未剪辑视频中每个动作实例的语义标签和时间区间。这是视频理解中一个基础且具有挑战性的任务。以前的方法使用复杂的流程来解决这个任务。它们通常需要训练多个网络，并涉及手工设计的操作，如非极大值抑制和锚生成，这限制了灵活性并阻碍了端到端学习。在本文中，我们提出了一种基于Transformer的端到端TAD方法，称为TadTR。给定一小组可学习的嵌入（称为动作查询），TadTR为每个查询自适应地从视频中提取时间上下文信息，并直接使用上下文预测动作实例。
[论文笔记] DCA（Dual Chunk Attention）
心宝的博客
07-23 278
DCA 通过分块处理和分步注意力计算，巧妙地解决了长文本处理中的计算和内存瓶颈问题，使得模型在处理长文本时既高效又有效。
mamba 安装Solving environment: failed with initial frozen solve. Retrying with flexible solve. Solving environment: -
09-15
mamba 安装时出现"Solving environment: failed with initial frozen solve. Retrying with flexible solve. Solving environment: -"错误信息通常表示在解决依赖关系时出现问题。为了解决这个问题，你可以尝试以下方法之一： 1. 确保你的mamba和conda版本是最新的。可以通过运行以下命令来更新mamba和conda： ``` mamba update mamba conda ``` 2. 尝试使用`--no-channel-priority`参数进行安装。运行以下命令来安装软件包： ``` mamba install --no-channel-priority <package-name> ``` 3. 创建一个新的虚拟环境，并在新的环境中尝试安装软件包。你可以按照以下步骤来创建和激活新的虚拟环境： ``` mamba create --name myenv conda activate myenv mamba install <package-name> ``` 请注意，以上方法中的每一种都有可能解决你的问题。如果一个方法不起作用，你可以尝试另一个方法。希望这些方法能够帮助你成功安装软件包。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值