MedMamba论文精读

名称：MEDMAMBA: VISION MAMBA FOR MEDICAL IMAGE

CLASSIFICATION

医学分类的medmamba

作者：Yubiao Yue，Zhenzhang Li

日期：2024年4月2日 ArXiv

代码地址：https://github.com/YubiaoYue/MedMamba

摘要：近年来，基于CNN与Transformer的模型被广泛应用于各种医学图像分类。但CNN在远程建模方面的局限性使其无法有效提取医学图像中的特征，Transformers受其二次计算复杂度的阻碍。最近的研究表明，Mamba中的状态空间模型SSM可以有效建模远程相互作用，同时保持线性计算复杂度。文章提出一种医学图像分类的MedMamba。更具体地说，文章介绍了一种新的SS-Conv-SSM模块。该模块结合卷积层的局部特征提取能力与SSM捕获远程依赖性的能力相结合，从而对不同模态的医学图像进行建模。文章在14个大型公开数据集进行实验，并在私有数据集进行大量实验。

介绍：以往CNN，Transformer方法存在一定局限性，目前研究SSM状态空间模型成为主流。目前该方法应用于自然图像分类，医学图像分割等任务。

前面阅读过Vmamba文章为在自然图像领域进行分类分割等任务，本文为专门为医学图像分类任务在该模型基础上进行的改进。

文章主要贡献在于：

1）提出了MedMamba，标志着第一次探索的潜在应用的SSM为基础的模型在医学图像与不同的方式。

2)在五个数据集上进行了综合实验，结果表明MedMamba表现出相当的竞争力。

3)为医学图像分类任务建立了一个新的基线，并为未来开发更高效，更有效的基于SSM的人工智能算法和应用系统提供了有价值的见解。

图1显示了MedMamba的整体架构。包括一个补丁嵌入层，ss_conv_SSM Block和补丁合并层。在MedMamba中，Patch Embedding层首先将输入图像x ∈ RH × W × 3划分为大小为4 × 4的非重叠区块，从而将图像的维度映射到C（这里，C的默认值设置为96），从而得到嵌入图像x ′。随后，在将其馈送到MedMamba的主干之前，通过使用层归一化对x '进行归一化。主干由四个阶段组成。应该注意的是，在前三个阶段的输出之后使用合并层，以减少输入特征的高度和宽度，同时增加通道的数量。我们在四个阶段中使用[2，2，4，2] SS—Conv—SSM块，每个阶段具有[C，2C，4C，8C]通道。

SS 2D

这是VMamba 提出的2D选择性扫描（SS 2D），这是SS-Conv-SSM块的核心。SS 2D由三个部分组成：扫描扩展操作、S6块和扫描合并操作。如图2所示，扫描扩展操作将输入图像沿着四个不同的方向（左上至右下、右下至左上、右上至左下和左下至右上）展开为序列。然后，这些序列由S6模块进行特征提取处理，确保来自各个方向的信息被彻底扫描，从而捕获不同的特征。随后，如图2所示，扫描合并操作对来自四个方向的序列求和并合并，将输出图像恢复为与输入相同的大小。从Mamba 衍生的S6块通过基于输入调整SSM的参数，在S4 之上引入了选择性机制。这使得模型能够区分和保留相关信息，同时过滤掉不相关的信息。

SS-Conv-SSM Block

SS-Conv-SSM Block是MedMamba的核心模块，如图1所示。总的来说，SS-Conv-SSM是一个简单的双分支模块。在SS-Conv-SSM块中没有太多花哨的技巧。首先，使用通道分裂操作将模块输入分裂成具有相同大小的两个子输入。接下来，将两个子输入馈送到两个分支（即，Conv-分支和SSM-分支）模块。在Conv分支中，简单地使用连续卷积层来建模输入的局部特征。在SSM分支中，首先使用层Normalization层来处理输入。值得注意的是，输入在经过层规范化之后被分为两个分支。在SSM的第一分支中，输入通过线性层和激活函数。在SSM-分支的第二分支中，输入被馈送到2D选择性扫描模块（SS 2D）[22]中，以在通过线性层、深度可分离卷积和激活函数之后进行进一步的特征提取。然后，使用层规范化对特征进行规范化，并将其与第一个分支的输出逐个元素相乘，合并两个分支。最后，使用线性层进行特征混合，得到SSM分支的输出。

数据集：

PAD-UFES-20皮肤病数据集

Cervical lymph node lesion ultrasound images颈部淋巴结病变超声图像

FETAL_PLANES_DB胎儿_平面_DB[29]（缩写为胎儿-US）。

Covid19-Pneumonia-Normal Chest X-Ray Images Covid 19-哥伦比亚-正常胸部X线图像

Kavsir Dataset

Large-scale otoscopy dataset 大规模耳镜检查数据集

Medmnist2D

实验效果：

结论：在这项工作中，我们首先将基于SSM的模型引入到医学图像分类任务中，并提出MedMamba作为基线。为了使MedMamba能够有效地对具有细粒度特征的各种医学图像进行建模，我们使用卷积层和SSM的混合模块构建了MedMamba。为了充分证明MedMamba在医学分类任务中的潜力直接受益于SSM，我们没有使用任何预训练策略或数据增强策略。在MedMamba上使用大量具有不同模态的医学数据集进行了广泛的实验。实验结果表明，MedMamba在医学图像分类任务中具有优异的性能。此外，与医学分类任务中广泛使用的各种架构相比，MedMamba表现出强大的竞争力。此外，我们将未来的工作总结为以下几点：1）我们将进一步探索和测试MedMamba在其他成像技术获得的医学数据集上的潜力，并优化MedMamba的内部架构。2)我们将进一步使用可解释的人工智能来分析MedMamba的决策机制。此外，还应研究MedMamba的推理速度和模型参数大小对实际应用的影响。3)由于SSM在高效长序列建模方面的优势，进一步研究MedMamba在某些高分辨率医学图像（如病理图像）中的性能可能是有益的。4)我们将尝试使用MedMamba的主干作为编码器或解码器，以探索其在更高级的医学图像任务中的应用潜力，例如医学图像分割，医学对象检测，医学图像配准和医学图像重建。