Mamba 架构在医学图像分析中的全面综述：分类、分割、重建及其他应用

Mamba 是一种状态空间模型（State Space Model, SSM）的特例，作为医学图像分析中模板驱动深度学习方法的替代方案，正日益受到关注。尽管 transformer 是强大的架构，但它也存在一些缺陷，例如计算复杂度为平方级且难以高效处理长距离依赖。这一限制影响了在医学成像中分析大型复杂数据集的能力，因为这些数据集存在大量的空间和时间关系。相比之下，Mamba 具有显著优势，使其非常适合医学图像分析。Mamba 具有线性时间复杂度，这比 transformer 大大改进了性能。在序列建模任务中，其计算复杂度随着输入序列长度线性增长。Mamba 无需注意力机制即可处理更长的序列，从而实现更快的推理速度并减少内存需求。此外，Mamba 在融合多模态数据方面表现出色，从而提高了诊断准确性和患者的治疗效果。

本文的结构设计让读者能够逐步了解 Mamba 在医学成像中的能力。我们首先清晰地定义了与 SSM 和概念模型相关的概念，包括 S4、S5 和 S6。随后我们探讨了 Mamba 架构，包括纯 Mamba、U-Net 变体以及 Mamba 与卷积网络、transformer 和图神经网络（GNN）相结合的混合模型。后续部分则涵盖了 Mamba 的优化、弱监督与自监督学习、扫描机制等技术，以及各种任务中应用的详细分析。我们还提供了可用数据集的概述和一些关于 Mamba 在不同领域的有效性实验结果。此外，本文详细介绍了 Mamba 的挑战与局限性，以及其他有趣的方面和可能的未来发展方向。最后一节解释了 Mamba 在医学成像中的重要性，并提供了其使用及改进措施的分析和结论。

本综述旨在展示 Mamba 在克服医学成像现有障碍方面的变革潜力，同时为该领域的创新进展铺平道路。有关医学领域中应用的 Mamba 架构的全面列表，可在 GitHub 上查看。

https://www.zhuanzhi.ai/paper/ce3e2342b4bc89671df490e8f69db528

1 引言

在过去的几十年中，机器学习 [111] 和深度学习 [114] 的应用使医学领域取得了显著进步。卷积神经网络（CNN）等初始神经网络架构 [82] 在提升图像分割 [74]、分类 [79, 106] 和目标检测 [81] 方面发挥了关键作用。医学图像复杂多样，但 CNN 能够在二维平面上分析三维结构，因此在生物医学图像计算中特别适用于图像分割 [108]、肿瘤检测 [17]、器官分割 [160] 和疾病诊断成像 [16]。CNN 广泛应用于医学成像任务，包括分割、分类和重建。然而，其在处理序列数据或需要长程依赖的多任务时表现不足。例如，在医学图像分割领域，CNN 可能无法如预期般表现良好，因为它们难以建模图像及其部分之间的超分辨率相互依赖关系。

一些 CNN 的缺点通过 transformer 架构 [107, 124] 得到缓解，这类技术在序列数据处理和长程依赖方面表现更优。然而，transformer 也存在一些不足。主要问题是计算注意力的规模随着序列长度呈平方增长，因此在处理非常长的序列时会导致高昂的计算成本。此外，通常需要更多的资源和数据，这在资源受限的环境中（如医学领域）是一个难题。针对传统 CNN 和 transformer 的不足，许多研究探索了可以有效表示长序列及其复杂依赖关系的不同模型。近年来，状态空间模型（SSM）[47] 引起了广泛关注，Mamba [45] 模型便是其中之一。Mamba 旨在解决现代深度学习技术中的相关问题。它利用选择性状态空间来快速处理长序列，结合多种模式，并支持高效的分辨率和实用性。Mamba 的架构整合了选择性扫描机制和硬件感知算法，从而在中间结果的存储和计算方面实现高效率。这样使得 Mamba 在一些需要长程依赖和高复杂度的任务（如医学图像分割 [128, 134, 138]、分类 [44, 99, 150]、合成、配准和重建 [62, 83, 162]）中表现优异。

Mamba 在生物医学领域表现出色，特别是在生物医学成像、基因组学和临床记录处理领域。因此，该模型在涉及长程和多模态数据的任务中表现出色，能够捕获信息单元之间的微妙关系和依赖性。图 1 展示了 Mamba 随时间演变的时间线，从 HiPPO [46] 和线性状态空间层（LSSL）[49]、S4 [47]、对角状态空间（DSS）[51]、S4D [48]、S5 [113]、S4ND [100]、Hungry Hungry Hippos（H3）[42] 到 Mamba [45]。其中还包括随着模型演进产生的 Mamba 变体。图 2 所示的饼图展示了使用 Mamba 框架在医学领域各项任务中的研究论文分布，分为五个部分，每个部分代表特定任务及其在总论文数中的比例。此外，图 3 展示了 2023 年 12 月至 2024 年 9 月期间 Mamba 在医学领域相关出版物数量的波动，研究活动在 2024 年 3 月和 4 月明显激增。

目前有几篇关于 Mamba 的综述性论文。然而，这些论文可能做了以下之一的选择——要么 [101, 104] 广泛覆盖框架，要么仅限于视觉领域的应用 [87, 140, 153]。值得注意的是，只有 [56] 对 Mamba 在医学领域的应用进行了评审。然而，我们的综述论文比 [56] 更为全面和详细。特别是，本文重点分析了医学数据集等公共资源，并提供了一些关于 Mamba 在医学实践中应用的实验数据，包括在医疗环境中 Mamba 可用的各种资源和干预措施。此外，