AAAI 2025 | S³-Mamba：面向病变分割的小尺寸敏感Mamba

Amusi（CVer）

于 2025-03-09 23:59:45 发布

阅读量226

点赞数 1

原文链接：https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247617018&idx=2&sn=30590df34af87614afb790830e67aa98&chksm=f86f21d8d847b3cd665e830bdf5a6bd8a7c887acc59144c4dec425026a3d43ba8e7f277111ba&scene=126&sessionid=0

版权

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【医学分割】投稿交流群

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：人工智能学起来

论文题目：S3-Mamba: Small-Size-Sensitive Mamba for Lesion Segmentation

论文地址：https://arxiv.org/abs/2412.14546

代码：https://github.com/ErinWang2023/S3-Mamba

创新点

本文引入增强通道特征块（Enhanced Channel Feature Block, EnCFBlock），通过通道注意力（channel-wise attention）动态调整每个通道的权重，突出小病灶的特征，同时抑制背景噪声。使用两个残差连接（residual connections）来保留局部细节，避免在深层网络中丢失重要信息。去掉原有的深度卷积（DWConv）层，减少对小病灶特征的过度平滑。
本文TCMA 将输入图像特征、中间层特征和边缘特征划分为不同尺度的 patch，并通过张量操作（tensor-based attention）动态调整这些特征的权重。通过多尺度特征的交互，TCMA 能够同时利用空间、类别和边缘特征，增强对小病灶的分割能力。TCMA 的输出用于调节解码器层的特征，从而在全局上下文和局部细节之间取得平衡。
本文提出一种基于病灶大小和样本难度的课程学习策略，通过难度评估器（Difficulty Measurer）动态调整样本权重。在训练过程中，模型逐渐从简单样本（如大病灶）过渡到复杂样本（如小病灶），确保模型能够更好地关注小病灶的分割。引入正则化约束（regularization constraints），防止模型过度关注特定样本，从而实现更平衡的学习过程。

方法

本文提出了一种名为 Small-Size-SSensitive Mamba (S3-Mamba) 的医学图像分割模型，专门针对小病灶的分割问题。研究方法围绕三个核心技术创新展开：增强视觉状态空间块（Enhanced Visual State Space Block, EnVSSBlock）、基于张量的跨特征多尺度注意力机制（Tensor-based Cross-feature Multi-scale Attention, TCMA）以及正则化课程学习策略（Regularized Curriculum Learning）。这些方法共同作用，提升了模型对小病灶的分割能力。

S3-Mamba 模型的整体架构图

这是 S3-Mamba 模型的整体架构图，包括 EnVSSBlock 和 TCMA 的详细设计。

(a) Overview of S3-Mamba：展示了基于 U-Net 架构的整体框架，包括编码器、解码器以及关键模块（EnVSSBlock 和 TCMA）的位置。
(b) Detailed architecture of TCMA：详细展示了 TCMA 的结构，包括输入图像特征、中间层特征和边缘特征如何通过多尺度张量操作进行融合。
(c) Detailed structure of EnVSSBlock：展示了 EnVSSBlock 的结构，包括增强通道特征块（EnCFBlock）和残差连接的设计。
(d) Detailed structure of EnCFBlock：进一步展示了 EnCFBlock 的细节，如何通过通道注意力机制调整特征权重。
(e) Architecture of the regularized curriculum learning strategy：展示了课程学习策略的整体设计，包括难度评估器和训练调度器。

比较模型

本图用于比较不同分割模型的计算复杂度（FLOPs）、Dice 相似系数（DSC）和模型大小。S3-Mamba 在 27.58G FLOPs 的计算复杂度下，实现了 75.93% 的 DSC，同时模型大小仅为 4.64M 参数。相比之下，其他模型如 UNETR++ 和 ViTSeg 在计算复杂度和分割精度上均不如 S3-Mamba，证明了 S3-Mamba 在小病灶分割任务中的高效性和优越性。

实验结果

本表格展示了 S3-Mamba 与其他九种最先进的分割模型在 ISIC2018 和 CVC-ClinicDB 数据集上的性能比较。表格列出了不同模型在小（S）、中（M）和大（L）病灶上的性能，包括平均交并比（mIoU）、Dice 相似系数（DSC）、准确率（ACC）、特异性（SPE）和敏感性（SEN）。S3-Mamba 在小病灶的 mIoU 和 DSC 上表现最佳，分别达到了 77.13% 和 87.09%。这表明 S3-Mamba 在处理小病灶时具有显著优势，尤其是在细节和轮廓的捕捉上。其他模型如 VmUnet 在大病灶分割上表现较好，但在小病灶上不如 S3-Mamba。传统模型如 U-Net 在小病灶分割上表现较差，而基于 Transformer 的模型（如 H2Former）在某些指标上接近 S3-Mamba，但在整体性能上仍稍逊一筹。S3-Mamba 通过 EnVSSBlock 和 TCMA 的设计，在小病灶分割上显著优于其他模型，尤其是在多尺度特征融合和通道注意力方面。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2025 论文和代码下载

在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

医学分割和论文投稿交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-医学分割和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如医学分割+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看