LightM-UNet：一个基于Mamba的轻量级U形分割模型

已于 2024-04-09 23:06:21 修改
阅读量2.4k 收藏 30
点赞数 13
文章标签： 人工智能 机器学习 深度学习
于 2024-04-09 23:06:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83061827/article/details/137567717
版权

UNet作为一种基于卷积神经网络（CNN-based）的模型，面临卷积操作固有局部性，限制了它理解明确的全局和长距离语义信息交互的能力。一些研究尝试通过扩张卷积层，自我注意力机制和图像金字塔来缓解这个问题但在建模长距离依赖方面仍表现出限制。且近期研究探讨了整合Transformer架构，利用自注意力机制将图像视为一系列连续的Patch来捕获全局信息，但由于子注意力机制导致了图像尺寸的二次复杂度，特别对于需要密集预测的任务（如医疗图像分割），带来了相当大计算开销。所以仍然存在一个问题：“如何在不增加额外参数和计算负担的情况下，赋予UNet容纳长距离依赖的能力？”

近期，由于状态空间模型（SSMs）不仅能建立长距离依赖关系，而且还有输入规模的线性复杂性。于是一些尝试如U-Mamba【14】，提出了一个混合的CNN-SSM块，结合了卷积层的局部特征提取能力与SSM在捕捉纵向依赖关系方面的专长但其引入了大量参数和计算负载，带来了相当大计算开销。在这项研究，引入了LightM-UNet，一个基于MAmba的轻量级U形分割模型，显著降低参数和计算成本的同时实现了最先进的性能。（如下图）

LightM-UNet是UNet与Mamba的轻量级融合，超越了现有的最先进模型。在技术方面，提出了残差视觉曼巴层（RVM层）”以纯曼巴方式从图像中提取深层特征。在引入的新参数和计算开销最小的情况下，作者通过使用“残差连接”和“调整因子”进一步增强了SSM对视觉图像中长距离空间依赖关系建模的能力。

方法论

LightM-UNet的总体架构如图2所示。

给定一个输入图像 ，其中C 、H、W和D分别表示3D医疗图像的通道数、高度、宽度和切片数。LightM-UNet首先使用深度可分卷积（DWConv）层进行浅层特征提取，生成浅层特征图其中32表示固定的滤波器数量。随后，LightM-UNet结合三个连续的编码器块（Encoder Blocks）从图像中提取深层特征。在每个编码器块之后，特征图中的通道数翻倍，而分辨率减半。在-th编码器块处，LightM-UNet提取深层特征

最低0.47元/天 解锁文章
LightM-UNet：Mamba 辅助的轻量级 UNet 用于医学图像分割
m0_47867638的博客
04-11 1939
UNet及其变体在医学图像分割中得到了广泛应用。然而，这些模型，特别是基于Transformer架构的模型，由于参数众多和计算负载大，使得它们不适合用于移动健康应用。最近，以Mamba为代表的状态空间模型（SSMs）已成为CNN和Transformer架构的有力竞争者。在此基础上，我们采用Mamba作为UNet中CNN和Transformer的轻量级替代方案，旨在解决真实医疗环境中计算资源限制带来的挑战。
【魔改UNet系列】LightM-UNet：Mamba与UNet结合实现轻量级图像分割
小白学视觉
10-28 903
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达论文信息题目：LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image SegmentationLightM-UNet：Mamba助力轻量级UNet进行医学图像分割作者：Weibin Liao, Yinghao Zhu, Xinyuan Wang, Chen...
LightM-UNet：Mamba助力轻量级UNet进行医学图像分割
hellozhxy的博客
05-06 855
LightM-UNet：一种轻量级 Mamba UNet，它将 Mamba 和 UNet 集成在一个轻量级框架中，实现了卓越的分割性能，同时将参数和计算成本分别大幅降低了 116 倍和 21 倍！代码即将开源！
LightM-UNet:Mamba+Unet开启轻量视觉模型新时代
最新发布
weixin_44729653的博客
03-18 1871
UNet [16] 作为一种成熟的医学图像分割算法，在与医学器官和病变相关的各种分割任务中得到了广泛应用，涵盖了各种医学图像模态。其对称的 ∪形编码器-解码器架构以及完整的跳跃连接为分割模型奠定了基础，由此也演变出大量基于编码器-解码器结果的分割模型和图像生成模型。
LightM-UNet：Mamba轻量级UNet进行医学图像分割
winner_liuhuan的博客
08-12 1671
UNet及其变体已成功地应用于医学图像分割中，并取得了较好的效果.然而，这些模型，尤其是基于Transformer架构的模型，由于其大量参数和计算负载而带来了挑战，使得它们不适合移动的健康应用。最近，以Mamba为代表的状态空间模型（SSM）已经成为CNN和Transformer架构的竞争性替代方案。在此基础上，我们在UNet中使用了Mamba作为CNN和Transformer的轻量级替代品，旨在解决真实的医疗环境中计算资源限制所带来的挑战。
LightM-UNet: Mamba Assists in LightweightUNet for Medical Image Segmentation——Mamba助力轻量级UNet用于医学图像分割
Together_CZ的博客
12-26 1876
LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image Segmentation Mamba助力轻量级UNet用于医学图像分割
unet模型及代码解析
热门推荐
qq_43537701的博客
11-06 5万+
什么是unet 一个U型网络结构，2015年在图像分割领域大放异彩，unet被大量应用在分割领域。它是在FCN的基础上构建，它的U型结构解决了FCN无法上下文的信息和位置信息的弊端（下文细说） Unet网络结构 主干结构解析 左边为特征提取网络，右边为特征融合网络 特征提取网络 由两个3x3的卷积层（RELU）再加上一个2x2的maxpooling层组成一个下采样的模块，一共经过4次这样的操作 特征融合网络 由一层反卷积+特征拼接concat+两个3x3的卷积层（ReLU）反复构成，一共经过4次这样的操
LightM-UNet论文摘要
m0_73811793的博客
04-09 899
实验结果表明，在移除这两个组件后，模型的参数数量和计算开销几乎没有减少，但模型的性能显著下降（mIoU下降了0.44%和0.69%）。进一步地，作者观察到基于Transformer和基于VSSM的结果都优于基于卷积的结果，这证明了建模长距离依赖的好处。这些数据集在现有的分割研究[12, 24]中被广泛使用，并在本研究中分别用来验证2D和3D版本的LightM-UNet的性能。图3展示了分割结果示例，表明与其他模型相比，LightM-UNet具有更平滑的分割边缘，并且不会对小型目标（如肿瘤）产生错误的识别。
LightM-UNet（2024 CVPR）
朴实无华的研究生活
02-01 1414
采用Mamba作为UNet中CNN和Transformer的轻量级替代品，旨在解决真实医疗环境中计算资源限制带来的挑战。
EfficientSAM：轻量级的视觉基础分割模型【清晰明了！】
xiaoh_7的博客
03-20 2980
EfficientSAM 是一种轻量级视觉分割基础模型，在保证精度的同时，大幅降低了模型复杂度和内存成本。它采用了遮蔽图像预训练 (SAMI) 和优化轻量级 ViT 图像编码器等创新方法，在图像分类、对象检测、实例分割等多种任务上都取得了优异的成绩。
Unet模型
LYJ20010728的博客
04-07 489
搭建模型结构代码 import numpy as np from tensorflow.keras import layers from tensorflow.keras import models def Unet(input_shape=(512,512,3), num_classes=21): # 输入图片的尺寸 inputs = layers.Input(input_shape) # 512,512,3 -> 512,512,64 conv1 = l
ESPNet: 自动驾驶领域轻量级分割模型
qq_29462849的博客
11-30 617
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达原文：ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for S...
轻量级分割一切视觉模型：MobileSAM
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-06 1711
MobileSAM比原始SAM小60多倍，但性能与原始SAM相当。就推理速度而言，MobileSAM每幅图像运行约10ms：图像编码器运行8ms，掩码解码器运行2ms。凭借卓越的性能和更高的通用性，我们的MobileSAM比并发的FastSAM小7倍，快4倍，更适合移动应用。
文献翻译（Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation）
m0_54187478的博客
02-23 5407
在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉变换器（ViT）已经设定了重要的基准。前者擅长通过卷积运算捕捉局部特征，而后者通过利用自注意机制实现了显著的全局上下文理解。然而，这两种架构在有效地建模医学图像中的长程依赖性方面都存在局限性，这是精确分割的关键方面。受Mamba架构的启发，我们提出了Mamba UNet，这是一种将医学图像分割中的U-Net与Mamba的能力协同的新架构。
U-Net模型
iamcfb_的博客
01-16 1万+
        U-Net模型是一种改进的FCN结构，因其结构经论文作者画出来形似字母U而得名，应用于医学图像的语义分割。它由左半边的压缩通道（Contracting Path）和右半边扩展通道（Expansive Path）组成。压缩通道是典型的卷积神经网络结构，它重复采用2个卷积层和1个最大池化层的结构，每进行一次池化操作后特征图的维数就增加1倍。在扩展通道，先进行1次反卷积操作，使特征图的维...
Lightweight and Progressively-Scalable Networks for Semantic Segmentation（轻量级语义分割模型-2022）
qq_43199575的博客
11-14 669
多尺度学习框架被认为是促进语义分割的模型。然而，这个问题并不是微不足道的，特别是对于现实世界的部署，这通常需要高效率的推理延迟。在本文中，我们从轻量级语义分割的角度彻底分析了卷积块的设计（卷积类型和卷积中的通道数），以及跨多个尺度的交互方式。通过如此深入的比较，我们总结出三个原则，并相应地设计了轻量级和渐进式可扩展网络（LPS-Net），它以贪婪的方式扩展了网络的复杂性。从技术上讲，LPS-Net 首先利用这些原理来构建一个微型网络。
高精度轻量级图像分割SOTA模型PP-LiteSeg开源
百度大脑
04-29 2139
图像分割技术在医疗病灶分析、自动驾驶车道线分割、绿幕人像抠图等领域发挥着举足轻重的作用。相比目标检测、图像分类等技术，图像分割需要将每个像素点进行分类，在精细的图像识别任务中不可替代。 图1 图像分割应用 正因如此，DeepLabv3、OCRNet、BiseNetv2、Fast-SCNN 等优秀算法层出不穷，然而在实际产业落地过程中往往需要综合考虑硬件性能、精度等多方面因素，对算法的需求也是苛刻的。往往业界算法在保障高识别精度的情况下，就会牺牲算法运行速度；反之追求速度，则会带来精度的大幅度
unet改进模型轻量化
03-01
### UNet 改进模型轻量化的方法和技术 #### 一、重参数化技术的应用 为了提升轻量化网络的能力，在某些研究中采用了重参数结构来增强模型性能。这种结构不仅能够简化网络设计，还能有效提高模型的表现力[^1]。 ```python class ReparameterizedBlock(nn.Module): def __init__(self, in_channels, out_channels): super(ReparameterizedBlock, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) def forward(self, x): return F.relu(self.conv(x)) ``` #### 二、高效的空间金字塔池化模块 ESPNet-C 和 Dual Attention Network 的组合被证明可以显著加强特征提取的效果。前者专注于捕捉多尺度上下文信息；后者则通过空间注意力机制进一步提升了局部细节的感受野范围。这样的改进使得整个架构更加紧凑且具备更高的表达能力[^2]。 #### 三、Mamba作为轻量级组件嵌入到UNet框架下 LightM-UNet 提出了一个新的视角——即采用 Mamba 结构替换传统 CNN 或 Transformer 层次中的部分单元，从而构建出更适合于资源受限环境下的医学影像处理方案。此方法既保留了原始 U 形连接的优势特性，又大幅减少了所需的计算开销[^3]。 ```python import torch.nn as nn class LightMUnetEncoderBlock(nn.Module): def __init__(self, input_dim, output_dim): super(LightMUnetEncoderBlock, self).__init__() self.mamba_layer = ... # Define the lightweight mamba layer here def forward(self, x): ... class LightMUnetDecoderBlock(nn.Module): def __init__(self, input_dim, output_dim): super(LightMUnetDecoderBlock, self).__init__() self.simple_decoder_module = ... # Implement a simple decoder module to reduce computation cost def forward(self, x): ... # Example usage of these blocks within an overall network architecture. light_m_unet_architecture = [ (input_channels_0, hidden_channels_1), (hidden_channels_1, hidden_channels_2), ... ] for i, (in_chs, out_chs) in enumerate(light_m_unet_architecture[:-1]): encoder_block = LightMUnetEncoderBlock(in_chs, out_chs) decoder_block = LightMUnetDecoderBlock(out_chs, light_m_unet_architecture[i][0]) # Add more layers or connections between encoders and decoders... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值