【论文阅读笔记】U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation

最新推荐文章于 2024-09-13 21:58:07 发布
最新推荐文章于 2024-09-13 21:58:07 发布
阅读量6k 收藏 18
点赞数 16
分类专栏： 医学图像分割 Mamba 文章标签： 论文阅读 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cskywit/article/details/135669540
版权
本文介绍了一种名为U-Mamba的新型网络结构，通过结合CNN的局部特征提取和SSM的长程依赖性，改进了生物医学图像分割。实验结果显示，U-Mamba在多个任务中超越了先进CNN和Transformer，特别是在CT和MR图像、内窥镜器械和细胞分割方面表现出色。
摘要由CSDN通过智能技术生成

Ma J, Li F, Wang B. U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation[J]. arXiv preprint arXiv:2401.04722, 2024. 【开源】

本文对Mamba结构用于图像领域进行了简单的探索，就结构来说没有特别多创新，就是插入了Mamba块，但可以遇见下一个坑的到来。

【核心思想】

将CNN的局部特征提取能力与状态空间序列模型（SSM）的长程依赖性能力相结合。这种混合的CNN-SSM块使网络能够有效处理长序列，并具有自适应机制以适应各种数据集。

在四个不同的任务上进行了广泛的实验：CT和MR图像中的3D腹部器官分割、内窥镜图像中的器械分割以及显微镜图像中的细胞分割。在所有这些任务中，U-Mamba都展示出了优于现有最先进的CNN和Transformer网络的性能。

【网络结构】

  • 基本结构

U-Mamba采用了一个编码器-解码器（encoder-decoder）的网络结构，这种结构能够同时捕获局部特征和长程上下文。它由两个主要部分组成：编码器和解码器。

  1. 编码器：U-Mamba的编码器部分由特殊的构建块组成，这些构建块包括两个连续的残差块（Residual blocks），后接一个基于SSM的Mamba块。这种设计使得网络能够在保持对局部特征的敏感性的同时，增强对长程依赖性的建模能力。
  2. 解码器
最低0.47元/天 解锁文章
医图论文 Arxiv‘24 | UU-Mamba：用于心脏图像分割的不确定性感知U-Mamba
小白学视觉
01-06 140
生物医学图像分割对于准确识别和分析医学成像中的解剖结构至关重要，特别是在心脏磁共振成像（MRI）中。手动分割劳动密集、耗时且容易出错，突显了自动化方法的需求。然而，当前的机器学习方法面临过拟合和数据需求等挑战。为了解决这些问题，作者提出了一个新的UU-Mamba模型，将U-Mamba模型与Sharpness-Aware Minimization（SAM）优化器和不确定性感知损失函数集成在一起。SAM通过在损失景观中定位平坦的最小值来增强泛化能力，从而减少过拟合。
【Mamba】（202401）U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
Edward的博客
04-02 3470
本文介绍了一种名为U-Mamba的通用生物医学图像分割网络，该网络旨在改进卷积神经网络（CNN）和Transformer在处理长距离依赖性方面的局限性。由于局部性和计算复杂性，CNN和Transformer在处理这类问题时能力有限。受状态空间序列模型（State Space Sequence Models, SSMs）的启发，我们设计了一个混合型CNN-SSM模块，它结合了卷积层强大的局部特征提取能力和SSMs捕捉长程依赖性的能力。
Swin-UMamba：基于Mamba和ImageNet预训练的医学图像分割模型
阿木寺的博客
02-16 1225
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达最后一天特惠活动！CVer学术星球新人和续费优惠券来了！为了感谢大家的支持，限时赠送10张50元新用户优惠券(下图左边二维码)，10张20元老用户续费券(下图右边二维码)，龙年坚持分享更多更好的工作，寒假不停更！助力你的科研和工作！顺利毕业升学，升职加薪！代码&模型：https://github.com/JiarunLiu...
日常阅读论文——U-Mamba
winner_liuhuan的博客
08-04 1494
很抽象。卷积神经网络（CNNs）和变换器（Transformers）是生物医学图像分割中最常用的两种结构，但由于其固有的局部性和计算复杂性，这两种结构在处理长范围相关性方面的能力都很有限。为了解决这一难题，我们引入了U-Mamba，一种用于生物医学图像分割的通用网络。受状态空间序列模型（SSM）的启发，我们设计了一个混合CNN-SSM模块，该模块将卷积层的局部特征提取能力与SSM捕捉长相关性的能力相结合。此外，U-Mamba还拥有一个自配置机制，使其能够自动适应各种数据集，而无需人工干预。
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
okimaru的博客
01-22 4884
卷积神经网络(Convolutional Neural Networks, cnn)和transformer是生物医学图像分割中最流行的架构，但由于固有的局部性或计算复杂性，它们处理远程依赖关系的能力有限。为了解决这一挑战，我们引入了U-Mamba，一个通用的生物医学图像分割网络。受状态空间序列模型(ssm)的启发，我们设计了一个混合CNN-SSM块，它将卷积层的局部特征提取能力与ssm捕获远程依赖的能力相结合。状态空间序列模型是一种以处理长序列的强大能力而闻名的新型深度序列模型。
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation论文阅读
walk_along_wall的博客
07-01 430
然后，将形状为 (B, C, H, W, D) 的图像特征展平并转置为 (B, L, C)，其中 L = H × W × D。在第一个分支中，特征通过线性层扩展为 (B, 2L, C)，后面跟着 1D 卷积层、SiLU 激活函数，并与 SSM 层一起扩展。最后，将特征投影回原始形状 (B, L, C)，然后重塑并转置为 (B, C, H, W, D)。文章对四个不同的任务进行了广泛的实验，包括 CT 和 MR 图像中的 3D 腹部器官分割、内窥镜图像中的仪器分割以及显微镜图像中的细胞分割。
【深度学习总结】基于U-Mamba使用nnUNetv2处理BraTS挑战赛数据
qq_41234663的博客
07-24 1847
使用U-Mamba处理BraTs数据
推荐文章：探索生物医学图像分割的新境界 —— U-Mamba
gitblog_00368的博客
08-23 357
推荐文章：探索生物医学图像分割的新境界 —— U-Mamba U-Mamba项目地址:https://gitcode.com/gh_mirrors/um/U-Mamba 项目介绍 在深度学习的浪潮中，U-Mamba 如同其名字一样灵巧而强大，专为解决生物医学图像分割中的长距离依赖难题而生。该开源项目通过增强模型对图像中远距离信息的捕捉能力，显著提升了分割精度和效率。由一群致力于医疗影像分析的精英...
U-Mamba 项目安装和配置指南
最新发布
gitblog_09076的博客
09-13 602
U-Mamba 项目安装和配置指南 U-Mamba 项目地址: https://gitcode.com/gh_mirrors/um/U-Mamba 1. 项目基础介绍和主要...
Graph-Mamba: Towards Long- Range Graph Sequence Modeling with Selective State Spaces
weixin_54382120的博客
05-11 1097
【代码】Graph-Mamba: Towards Long- Range Graph Sequence Modeling with Selective State Spaces。
GFE-Mamba：基于Mamba的AD多模态进展评估通过生成特征提取从MCI
2301_80264147的博客
08-27 1787
*阿尔茨海默病（AD）**是一种常见的神经退行性疾病，主要影响老年人，表现为记忆力减退、认知功能下降以及日常生活能力的丧失。AD的发病过程通常从轻度认知障碍（MCI）开始，特别是以记忆障碍为主要表现的健忘型MCI（aMCI）。尽管aMCI患者的记忆力显著下降，但他们的认知功能尚未达到痴呆的水平。预测aMCI患者在1至3年内是否会进展为AD对于预后至关重要。早期识别高风险患者可以实现个性化的治疗和干预，从而减缓疾病的进展并提高患者的生活质量。本文提出了一种名为GFE-Mamba。
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 2万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
U-Mamba：增强生物医学图像分割中的长程依赖
gitblog_09074的博客
09-13 362
U-Mamba：增强生物医学图像分割中的长程依赖 U-Mamba 项目地址: https://gitcode.com/gh_mirrors/um/U-Mamba 项目基础介...
文献翻译（Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation）
m0_54187478的博客
02-23 5285
在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉变换器（ViT）已经设定了重要的基准。前者擅长通过卷积运算捕捉局部特征，而后者通过利用自注意机制实现了显著的全局上下文理解。然而，这两种架构在有效地建模医学图像中的长程依赖性方面都存在局限性，这是精确分割的关键方面。受Mamba架构的启发，我们提出了Mamba UNet，这是一种将医学图像分割中的U-Net与Mamba的能力协同的新架构。
关于Umamba和mamba-SSM输入的小笔记 （2D情况）
weixin_47426299的博客
03-02 1316
hidden_states是输入x, 在上面第一块代码里即为x_norm, x_norm的维度是 所谓（B，L, D）， 这里有符号的不同， 这里的D其实就是上面C， 即为特征厚度，或说特征通道数。L是HxW， 即把图像拉长成一维数据。训练或推理时迭代的x， 是(B, C, H ,W), B 为batch size, C是channel dim, 比如浅层或许为1， 3， 深层512, H, W 为当前图像长宽。) 里输入就用最正常的Pytorch格式就行，即 （B, C, H, W）,
Swin-UMamba：结合基于ImageNet的预训练和基于Mamba的UNet模型
AI浩
02-06 3743
准确的医学图像分割需要整合从局部特征到全局依赖的多尺度信息。然而，现有方法在建模长距离全局信息方面面临挑战，其中卷积神经网络（CNNs）受限于其局部感受野，而视觉转换器（ViTs）则受到其注意力机制高二次复杂度的困扰。最近，基于Mamba的模型因其在长序列建模中的出色能力而备受关注。多项研究表明，这些模型在各种任务中可以超越流行的视觉模型，提供更高的准确性、更低的内存消耗和更少的计算负担。
U-Mamba复现中遇到的问题及解决方法（完结）
weixin_43589205的博客
04-01 5571
U-Mamba复现中遇到的问题及解决方法
从Encoder-Decoder到Mamba网络
sca1p31的博客
07-10 1469
最近还是在做流量分类的项目，之前试过一些CV的方法，现在想结合NLP来做一些实验。于是准备从embedding开始学习，需要了解onehot编码，同时学习一些相关的编码方式以及NLP发展过程中经典的模型和结构，在这里对整个学习过程做一个记录。
mamba 安装Solving environment: failed with initial frozen solve. Retrying with flexible solve. Solving environment: -
09-15
mamba 安装时出现"Solving environment: failed with initial frozen solve. Retrying with flexible solve. Solving environment: -"错误信息通常表示在解决依赖关系时出现问题。为了解决这个问题，你可以尝试以下方法之一： 1. 确保你的mamba和conda版本是最新的。可以通过运行以下命令来更新mamba和conda： ``` mamba update mamba conda ``` 2. 尝试使用`--no-channel-priority`参数进行安装。运行以下命令来安装软件包： ``` mamba install --no-channel-priority <package-name> ``` 3. 创建一个新的虚拟环境，并在新的环境中尝试安装软件包。你可以按照以下步骤来创建和激活新的虚拟环境： ``` mamba create --name myenv conda activate myenv mamba install <package-name> ``` 请注意，以上方法中的每一种都有可能解决你的问题。如果一个方法不起作用，你可以尝试另一个方法。希望这些方法能够帮助你成功安装软件包。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值