【论文阅读笔记】U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation

最新推荐文章于 2024-09-13 21:58:05 发布
最新推荐文章于 2024-09-13 21:58:05 发布
阅读量4.4k 收藏 16
点赞数 13
分类专栏： 医学图像分割 Mamba 文章标签： 论文阅读 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cskywit/article/details/135669540
版权
本文介绍了一种名为U-Mamba的新型网络结构，通过结合CNN的局部特征提取和SSM的长程依赖性，改进了生物医学图像分割。实验结果显示，U-Mamba在多个任务中超越了先进CNN和Transformer，特别是在CT和MR图像、内窥镜器械和细胞分割方面表现出色。
摘要由CSDN通过智能技术生成

Ma J, Li F, Wang B. U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation[J]. arXiv preprint arXiv:2401.04722, 2024. 【开源】

本文对Mamba结构用于图像领域进行了简单的探索，就结构来说没有特别多创新，就是插入了Mamba块，但可以遇见下一个坑的到来。

【核心思想】

将CNN的局部特征提取能力与状态空间序列模型（SSM）的长程依赖性能力相结合。这种混合的CNN-SSM块使网络能够有效处理长序列，并具有自适应机制以适应各种数据集。

在四个不同的任务上进行了广泛的实验：CT和MR图像中的3D腹部器官分割、内窥镜图像中的器械分割以及显微镜图像中的细胞分割。在所有这些任务中，U-Mamba都展示出了优于现有最先进的CNN和Transformer网络的性能。

【网络结构】

  • 基本结构

U-Mamba采用了一个编码器-解码器（encoder-decoder）的网络结构，这种结构能够同时捕获局部特征和长程上下文。它由两个主要部分组成：编码器和解码器。

  1. 编码器：U-Mamba的编码器部分由特殊的构建块组成，这些构建块包括两个连续的残差块（Residual blocks），后接一个基于SSM的Mamba块。这种设计使得网络能够在保持对局部特征的敏感性的同时，增强对长程依赖性的建模能力。
  2. 解码器：解码器由残差块和反卷积层组成，重点关注细节的局部信息和分辨率的恢复。U-Mamba还继承了U-Net中的跳跃连接（skip connection），用于将编码器中的分层特征连接到解码器。
  • U-Mamba块的内部结构

​ U-Mamba块的核心是结合了卷积层和SSM的混合块。卷积层负责提取局部特征，而SSM则负责捕捉长程依赖性。具体来说，U-Mamba块包括以下步骤：

​ 图像特征首先被展平并转置，然后通过层正规化（Layer Normalization）。

​ 进入Mamba块后，特征在两个并行分支中被扩展。这两个分支分别使用线性层、一维卷积层、SiLU激活函数和SSM层。
image-20240118105909120

【数据集】

image-20240118111056174

【实验结论】
image-20240118111213440

寸先生的牛马庄园
关注
专栏目录
Mamba-UNet：用于医学图像分割的类似UNet的纯视觉Mamba网络
AI浩
02-14 4833
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
【Mamba】（202401）U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
Edward的博客
04-02 2372
本文介绍了一种名为U-Mamba的通用生物医学图像分割网络，该网络旨在改进卷积神经网络（CNN）和Transformer在处理长距离依赖性方面的局限性。由于局部性和计算复杂性，CNN和Transformer在处理这类问题时能力有限。受状态空间序列模型（State Space Sequence Models, SSMs）的启发，我们设计了一个混合型CNN-SSM模块，它结合了卷积层强大的局部特征提取能力和SSMs捕捉长程依赖性的能力。
U-Mamba复现中遇到的问题及解决方法（完结）
weixin_43589205的博客
04-01 3681
U-Mamba复现中遇到的问题及解决方法
U-Mamba：增强生物医学图像分割中的长程依赖
最新发布
gitblog_09074的博客
09-13 287
U-Mamba：增强生物医学图像分割中的长程依赖 U-Mamba 项目地址: https://gitcode.com/gh_mirrors/um/U-Mamba 项目基础介...
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
okimaru的博客
01-22 4294
卷积神经网络(Convolutional Neural Networks, cnn)和transformer是生物医学图像分割中最流行的架构，但由于固有的局部性或计算复杂性，它们处理远程依赖关系的能力有限。为了解决这一挑战，我们引入了U-Mamba，一个通用的生物医学图像分割网络。受状态空间序列模型(ssm)的启发，我们设计了一个混合CNN-SSM块，它将卷积层的局部特征提取能力与ssm捕获远程依赖的能力相结合。状态空间序列模型是一种以处理长序列的强大能力而闻名的新型深度序列模型。
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation论文阅读
walk_along_wall的博客
07-01 365
然后，将形状为 (B, C, H, W, D) 的图像特征展平并转置为 (B, L, C)，其中 L = H × W × D。在第一个分支中，特征通过线性层扩展为 (B, 2L, C)，后面跟着 1D 卷积层、SiLU 激活函数，并与 SSM 层一起扩展。最后，将特征投影回原始形状 (B, L, C)，然后重塑并转置为 (B, C, H, W, D)。文章对四个不同的任务进行了广泛的实验，包括 CT 和 MR 图像中的 3D 腹部器官分割、内窥镜图像中的仪器分割以及显微镜图像中的细胞分割。
【深度学习总结】基于U-Mamba使用nnUNetv2处理BraTS挑战赛数据
qq_41234663的博客
07-24 1180
使用U-Mamba处理BraTs数据
推荐文章：探索生物医学图像分割的新境界 —— U-Mamba
gitblog_00368的博客
08-23 314
推荐文章：探索生物医学图像分割的新境界 —— U-Mamba U-Mamba项目地址:https://gitcode.com/gh_mirrors/um/U-Mamba 项目介绍 在深度学习的浪潮中，U-Mamba 如同其名字一样灵巧而强大，专为解决生物医学图像分割中的长距离依赖难题而生。该开源项目通过增强模型对图像中远距离信息的捕捉能力，显著提升了分割精度和效率。由一群致力于医疗影像分析的精英...
【图像拼接】论文精读：SX-Stitch: An Efficient VMS-UNet Based Framework for Intraoperative Scoliosis X-Ray Image
畅游计算机视觉的海洋
09-13 139
论文题目：SX-Stitch: An Efficient VMS-UNet Based Framework for Intraoperative Scoliosis X-Ray Image Stitching —— 基于增强选择和单应性模型综合优化的图像拼接X光图像拼接！在脊柱侧凸手术中，c臂x射线机视野有限，限制了外科医生对脊柱结构的整体分析。本文提出了一种端到端高效、鲁棒的术中x射线图像拼接方法，用于脊柱侧凸手术，称为SX-Stitch。该方法分为两个阶段：分割和拼接。
pos-mamba-sdk:用于在Mamba Web环境中进行开发的SDK
05-15
# Create a new mamba app at 'my-mamba-app' directory mamba new app my-mamba-app ? Name: My Mamba App ? Version: 0.0.1 ? Description: My new Mamba app 手动地 # Create and enter your ne
Pan-Mamba: Effective pan-sharpening with State Space Model
weixin_49090702的博客
04-13 403
论文主要研究的是遥感图像的pansharpening技术，这是一种将低分辨率的多光谱图像与高分辨率的全色图像结合起来生成高分辨率多光谱图像的技术。尽管现有的深度学习方法在图像融合方面取得了进展，但仍存在一些挑战，特别是在捕捉全局信息和有效融合信息方面。
Swin-UMamba：基于Mamba和ImageNet预训练的医学图像分割模型
阿木寺的博客
02-16 1003
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达最后一天特惠活动！CVer学术星球新人和续费优惠券来了！为了感谢大家的支持，限时赠送10张50元新用户优惠券(下图左边二维码)，10张20元老用户续费券(下图右边二维码)，龙年坚持分享更多更好的工作，寒假不停更！助力你的科研和工作！顺利毕业升学，升职加薪！代码&模型：https://github.com/JiarunLiu...
文献翻译（Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation）
m0_54187478的博客
02-23 4260
在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉变换器（ViT）已经设定了重要的基准。前者擅长通过卷积运算捕捉局部特征，而后者通过利用自注意机制实现了显著的全局上下文理解。然而，这两种架构在有效地建模医学图像中的长程依赖性方面都存在局限性，这是精确分割的关键方面。受Mamba架构的启发，我们提出了Mamba UNet，这是一种将医学图像分割中的U-Net与Mamba的能力协同的新架构。
关于Umamba和mamba-SSM输入的小笔记 （2D情况）
weixin_47426299的博客
03-02 1028
hidden_states是输入x, 在上面第一块代码里即为x_norm, x_norm的维度是 所谓（B，L, D）， 这里有符号的不同， 这里的D其实就是上面C， 即为特征厚度，或说特征通道数。L是HxW， 即把图像拉长成一维数据。训练或推理时迭代的x， 是(B, C, H ,W), B 为batch size, C是channel dim, 比如浅层或许为1， 3， 深层512, H, W 为当前图像长宽。) 里输入就用最正常的Pytorch格式就行，即 （B, C, H, W）,
Swin-UMamba：结合基于ImageNet的预训练和基于Mamba的UNet模型
AI浩
02-06 3346
准确的医学图像分割需要整合从局部特征到全局依赖的多尺度信息。然而，现有方法在建模长距离全局信息方面面临挑战，其中卷积神经网络（CNNs）受限于其局部感受野，而视觉转换器（ViTs）则受到其注意力机制高二次复杂度的困扰。最近，基于Mamba的模型因其在长序列建模中的出色能力而备受关注。多项研究表明，这些模型在各种任务中可以超越流行的视觉模型，提供更高的准确性、更低的内存消耗和更少的计算负担。
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 1万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
刷新多个SOTA！最新Mamba魔改版本超越transformer，GPU内存消耗减少74%
学姐带你玩AI的博客
02-23 4293
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题。为克服这些缺陷，研究者们提出了Mamba。Mamba是一种创新的线性时间序列建模方法，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。Mamba的设计和实现都展现出在处理长序列时的优势，在语言建模方面成功超越transformer。因此，面向Mamba及其魔改变体的研究也逐渐成为了热门，出现了很多可挖掘的创新点。为帮助同学们获取灵感，我整理了。
mamba 安装Solving environment: failed with initial frozen solve. Retrying with flexible solve. Solving environment: -
09-15
mamba 安装时出现"Solving environment: failed with initial frozen solve. Retrying with flexible solve. Solving environment: -"错误信息通常表示在解决依赖关系时出现问题。为了解决这个问题，你可以尝试以下方法之一： 1. 确保你的mamba和conda版本是最新的。可以通过运行以下命令来更新mamba和conda： ``` mamba update mamba conda ``` 2. 尝试使用`--no-channel-priority`参数进行安装。运行以下命令来安装软件包： ``` mamba install --no-channel-priority <package-name> ``` 3. 创建一个新的虚拟环境，并在新的环境中尝试安装软件包。你可以按照以下步骤来创建和激活新的虚拟环境： ``` mamba create --name myenv conda activate myenv mamba install <package-name> ``` 请注意，以上方法中的每一种都有可能解决你的问题。如果一个方法不起作用，你可以尝试另一个方法。希望这些方法能够帮助你成功安装软件包。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值