xLSTM-UNet来了！把Mamba换成xLSTM，可提升医学图像分割性能！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba和医学影像】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

“仅仅将U-Mamba中的Mamba换成xLSTM，就能带来突出的性能提升，代码和模型均已开源！”

xLSTM-UNet 可以作为新的2D和3D医疗图像分割的backbone模型

被xLSTM和LSTM系列工作原作者转发

在医学图像处理领域，精准的图像分割技术对于疾病的诊断、治疗规划和研究至关重要。近年来，深度学习方法在这一领域取得了显著进展，其中卷积神经网络（CNNs）和视觉变换器（ViTs）因其强大的局部特征提取能力和全局上下文捕捉能力而备受青睐。然而，这些方法在处理长距离依赖关系时仍面临挑战，尤其是在面对高分辨率或高维成像模式时。   

为了应对医学图像分割中的挑战，近期的研究提出了整合具有长距离依赖性的计算模块，这些模块在序列长度上展现出线性的计算和内存复杂度。在这些计算模块中，状态空间模型（State Space Models, SSMs）如Mamba已经证明了其巨大的成功，并且已经成功地集成到了传统的UNet架构中。例如，UMamba、VM-Unet、Mamba-Unet、Swin-UMamba和SegMamba等变体都展示了相当的成功。

而与此同时，扩展长短期记忆网络（Extended Long-Short Term Memory, xLSTM）作为LSTM的强大继承者，已经在序列建模方面向Transformers发起了挑战。在神经语言处理（NLP）和图像分类中，xLSTM已经展示了其卓越的性能。这一成功自然引发了一个问题：xLSTM或ViL是否也能在图像分割领域，特别是在医学图像分割领域中表现出色？

为了解答这一问题，由魔芯科技、浙江大学、中科大等单位的研究人员提出了一种创新的深度学习神经网络架构——xLSTM-UNet。研究人员仅将经过Mamba改进的UNet（U-Mamba）中的Mamba模块替换为xLSTM作为其骨干网络。实验结果惊奇的发现，仅将Mamba模块替换成xLSTM，就可以在2D和3D医学图像分割上获得不错的性能提升，通过广泛的实验验证，xLSTM-UNet在多个2D和3D的医学图像分割数据集上的表现均超越了现有的基于CNN、基于Transformer以及基于Mamba的分割网络。

突出的实验结果，涨点效果显著！

在腹部MRI数据集上，xLSTM-UNet在DSC（Dice相似系数）和NSD（归一化表面距离）指标上均取得了最高分，显著优于先前的SOTA模型U-Mamba。

·在内窥镜图像和显微图像细胞分割数据集上，xLSTM-UNet同样在DSC和NSD指标上取得了最佳成绩，证明了其在不同医学图像分割任务中的鲁棒性和可靠性。

·在3D分割任务中，xLSTM-UNet在BraTS2023数据集上的表现超越了其他基线方法。Dice和HD95在内的所有评估指标均显示出其在精确分割脑肿瘤区域方面的有效性。   

xLSTM的成功可以启发未来在图像分割领域的研究

研究人员在医学图像分割领域面临着处理长距离依赖性和优化计算资源的双重挑战。SSMs在UNet架构中的成功集成为该领域注入了新的活力，而xLSTM的出现则为这一领域带来了新的机遇。xLSTM在其他领域的显著成就激发了研究人员探索其在医学图像分割中应用的潜力。基于此，本研究提出的xLSTM-UNet作为一种创新的网络结构，结合了xLSTM的优势。这项研究还为未来的研究和应用开辟了新的可能性。随着xLSTM的进一步开发和优化，我们有理由相信，它将在图像分割乃至更广泛的领域取得与Mamba和Transformer相媲美的成就。

研究相关代码和所使用数据均已经开源：

项目页面：http://tianrun-chen.github.io/xLSTM-Unet/

论文链接：https://arxiv.org/abs/2407.01530

开源代码：https://github.com/tianrun-chen/xLSTM-UNet-PyTorch   

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba和医学影像交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、医学影像微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba或者医学影像+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看