AAAI 2024 | Rolling-Unet：重振MLP对于医学图像分割高效提取长距离依赖的能力

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【医学图像分割】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

代码（已开源）：

https://github.com/Jiaoyang45/Rolling-Unet

https://ojs.aaai.org/index.php/AAAI/article/view/28173

摘要

基于深度学习网络的医学图像分割方法主要分为CNN和Transformer。然而，CNN难以捕捉长距离依赖关系，而Transformer则存在计算复杂度高和局部特征学习差的问题。为了有效地提取和融合局部特征和长程依赖关系，本文提出了一种结合MLP的CNN模型Rolling-Unet。具体来说，我们提出了核心R-MLP模块，该模块负责学习整个图像在单个方向上的远距离依赖性。通过控制和组合不同方向的R-MLP模块，形成OR-MLP和DOR-MLP模块，以捕获多个方向的长距离依赖关系。此外，提出了Lo2 Block来对本地上下文信息和长距离依赖性进行编码，而没有过多的计算负担。Lo2 Block具有与3×3卷积相同的参数大小和计算复杂度。在四个公共数据集上的实验结果表明，与现有技术相比，Rolling-Unet实现了优越的性能。   

   

实验结果

为了充分评估Rolling-Unet，选择了四种具有不同特点，数据量和图片尺寸的数据集进行测试和消融实验。

BUSI和GlaS数据集的评估结果见表1。ISIC 2018的评估结果见表2和表3。CHASEDB1数据集的结果见表4。可以观察到，Rolling-Unet均取得了最佳的分割效果。Rolling-Unet更有效地提取了远程依赖来提升分割效果。在ISIC 2018数据集上改变图像尺寸的实验进一步验证了这一结论。当图像的尺寸增大时，只有Rolling-Unet和UNeXt维持了相近的性能，其他方法均出现了不同程度的下降。   

为了排除参数量与计算量的增加从而产生的性能提升，将Rolling-Unet中的R-MLP替换为了普通的MLP。这使得模型的参数量与计算量将保持一致的同时，可以失去捕获长距离依赖的能力。如表6所示，性能产生了大幅下滑。 

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba和医学图像分割交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、医学图像分割微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba或者医学图像分割+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看