【论文阅读笔记】Segment Anything Model for Medical Image Segmentation: Current Applications and Future Direc

复旦大学，2024.1.7 arxiv

相关论文更新仓库

【文章概述】

本文是关于医学图像分割的"Segment Anything Model" (SAM) 的综述。它详细讨论了SAM的发展、在医学成像中的应用，以及面对自然图像与医学图像之间差异时的挑战。文章还探讨了SAM在不同成像方式中的应用和方法上的调整。综述强调了提升SAM在医学图像分析性能方面的持续努力，展示了其在未来临床应用中的潜力。同时，文中还讨论了大规模医学数据集对发展基础模型的重要性以及改善医学图像标注的策略。总的来说，文章反映了在使用SAM进行医学图像分割领域的显著进步和未来发展方向。

【2.背景】

2.1. Foundation Models

第2.1节讨论了人工智能中的基础模型概念。这些模型是大规模、通用性的，设计用于语言和视觉领域的任务。它们通过在大量数据上的训练，发展出可跨领域转移的通用能力。该部分强调了像GPT系列在自然语言处理中的影响，以及它们对计算机视觉领域类似模型开发的启发。这些模型在各种任务中的成功引起了广泛的兴趣和适应，包括医学图像分析。本节还探讨了这些模型在医学成像中的潜力，特别是在医学图像分割应用和面临的挑战。

2.2. Segment Anything Model

第2.2节详细介绍了医学图像分割的"Segment Anything Model"（SAM）。SAM是一个基于大规模SA-1B数据集训练的模型，拥有显著的零样本泛化能力。它采用基于变换器的架构，包括一个基于Vision Transformer（ViT）的图像编码器、一个集成不同提示模式的提示编码器和一个轻量级的掩膜解码器。这些组件协同工作，实现图像嵌入和提示嵌入的融合，以预测分割掩膜。SAM的训练使用混合几何提示，并通过专业标注者的交互式标注和自动阶段的伪掩膜标注来进行。尽管SAM在自然图像上表现出色，但其在医学图像分割上的适用性还有待考验，尤其是因为自然图像与医学图像之间的显著差异。这一节还讨论了SAM在医学图像分割中的应用，包括评估其在不同成像方式下的零样本性能和探索适应医学图像分割的方法。

【3.SAM’s Zero-shot Evaluations on Medical Image Segmentation】

第3节“SAM的医学图像分割零样本评估”探讨了Segment Anything Model（SAM）在医学图像分割领域的零样本表现。该部分分析了SAM在不同医学成像方式下的表现，包括CT、MRI、病理学图像、结肠镜图像和内窥镜图像等。评估了SAM在这些不同成像技术上的有效性和局限性，特别是在处理结构复杂、对比度低和观察者间变异性高的医学图像时的挑战。这一部分没有详细说明各种图像应用SAM的细节，但共性的问题是SAM在这些医学图像上的分割性能与SOTA还有一定的差距，具体总结为以下几点：

• SAM 在复杂的手术场景中识别工具方面面临挑战，这些场景的特点是血液、反射、模糊和阴影。

• SAM 可以对大型连接对象实现出色的分割性能，但无法实现密集实例对象分割，即使每个图像上有 20 个提示（单击/框）。可能的原因包括 WSI 数据的图像分辨率明显高于 SAM 的训练图像分辨率，以及数字病理学不同组织类型的多个尺度。

• 由于息肉与其周围粘膜之间的边界模糊，SAM 在直接应用息肉分割任务时未能获得令人满意的性能，这表明需要引入提示或适应方法来提高性能。

• SAM 在未经微调的情况下直接应用于医学图像时精度不够，而且其性能会受到维度、模态、尺寸和对比度等多种因素的影响。

• 无抖动的框提示模式被证明是在零样本医学图像分割中利用 SAM 的最有效方法。

• 添加负点理论上应该可以提高性能，但在某些任务中会稍微降低性能，特别是当背景对象与前景对象相似时。

  结论：直接将 SAM 应用于以前未见过且具有挑战性的医学图像分割而不进行微调或重新训练可能会产生有限的性能。

【4.Adapting SAM to Medical Image Segmentation】

4.1. Fine-tuning on Medical Images

• 全面微调（4.1.1）：这种方法直接对SAM进行微调，以使其适应特定的医学图像分割任务。例如，对SAM进行皮肤癌分割的微调，在Dice相似系数（DSC）上显示出显著改进。另一项研究提出了针对息肉分割的Polyp-SAM，通过对SAM的所有组件进行微调，在五个公共数据集上取得了优异的表现。
• 参数高效微调（4.1.2）：这种方法只微调SAM参数的一小部分，以减少计算需求。例如，Medical SAM Adapter (Med-SA)通过在预训练的SAM参数上添加低秩适应（LoRA）模块，并在多个医学图像分割任务上展示了其优于SAM和先前最先进方法的性能。另一个例子是SAMed，它将LoRA模块应用于预训练的SAM图像编码器，并在多器官分割数据集上实现了与最先进方法相当的DSC分数。

4.2. Auto-prompting Adaptation

• 自动生成提示（4.2.1）：探讨了如何自动化生成SAM模型的输入提示，以提高其在医学图像分割中的应用效果。这一部分介绍了使用定位框架（如YOLOv8）自动识别医学图像中的感兴趣区域（ROI），并将这些区域作为输入提示。例如，MedLSAM模型采用了基于少量样本的定位过程，通过识别3D医学图像中的感兴趣解剖结构的3D边界框，进而从3D框中导出2D框，指导SAM自动分割目标解剖结构。这种自动化生成提示的方法旨在减少对人工输入的依赖，提高处理速度和准确性，从而优化SAM模型在医学图像分析任务中的性能。

• 可学习提示（4.2.2）：讨论了如何训练一个辅助提示编码器，以便在不再对SAM进行微调的情况下，自动生成适用于特定任务的提示。这种方法转变了SAM的应用方式，使其能够在完全自动化的环境中生成任务特定的提示，从而减少了对手动输入提示的依赖。这一节展示了利用可学习的提示方法来提升SAM在医学图像分割中的应用效果和灵活性。

• 提高对不确定提示的可靠性（4.2.3）：，重点探讨了如何通过不确定性估计来增强SAM（Segment Anything Model）在医学图像分割中自动提示的鲁棒性和可靠性。这部分的核心思想是，鉴于SAM对输入提示的高度敏感，通过不确定性的评估和处理，可以更可靠地预测分割结果，尤其是在医学成像这一领域，分割的准确性在临床程序中极为重要。文中提到了几种方法和模型，包括基于不确定性估计的提示生成方法和针对不同提示的不确定性评估技术，旨在提高SAM模型在面对复杂医学图像时的性能和可靠性。

每个部分都着重于如何通过自动化、学习性提示和不确定性处理来提高SAM模型在医学图像分割任务中的性能和准确性。

【4.3. Framework Modification】

第4.3节“框架修改”讨论了如何通过修改SAM（Segment Anything Model）的框架来提升其在医学图像分割领域的应用。这包括结合不同训练策略来适应SAM模型，以及利用新的训练方案将SAM无缝整合到先进的医学图像分割模型中。这一节强调了通过框架修改和整合来提高SAM在医学图像分割中的表现和适用性。这包括对SAM现有框架的修改和新训练方案的整合，以构建更先进的医学图像分割模型。

• 训练分割模型的协同作用（4.3.1 ）：这部分讨论了如何通过结合不同的训练策略来优化SAM的训练过程。这包括使用协同学习方法来同时训练SAM和其他医学图像分割模型，从而提高总体性能。

  • SAM-Path：一个与传统病理图像分割模型相结合的框架，用于提高病理图像分割的准确性。

  • nnSAM：结合SAM和神经网络，用于提高分割模型在处理复杂医学图像时的性能。

  • SAMAug：利用SAM生成增强的训练数据，以提升分割模型在有限数据环境下的性能。

  • SAMUS：一个融合了SAM和半监督学习策略的框架，旨在减少对大量标注数据的依赖。

• **促进注释高效学习(4.3.2)😗*讨论了如何利用SAM（Segment Anything Model）来减少医学图像分割模型在训练过程中对大量标注数据的依赖。文中提到了几种方法，包括半监督学习和弱监督学习技术，这些技术可以有效地利用未标注或部分标注的数据，从而减轻对大量精确标注数据的需求。这些方法有助于提高学习效率，同时在保持高水平分割性能的前提下，减少标注成本和时间。通过这种方式，SAM在医学图像分割的应用变得更加注释高效和实用。

【4.4. Towards 3D Medical Images】

探讨了如何扩展SAM（Segment Anything Model）模型以处理3D医学图像。由于3D医学图像包含深度相关的空间上下文信息，这对于某些对象的识别至关重要，因此直接使用针对2D图像训练的SAM可能导致次优结果。为解决这一问题，研究者们进行了特定的修改和增强，以使SAM能够有效处理3D医学图像模态。这些努力包括从2D到3D的适应、特定的架构调整，以及从头开始训练以捕获3D空间信息。这些改进使得SAM在处理复杂的3D医学图像时能够提供更准确的分割结果，进而更好地适应医学图像分析的需求。

【5.Discussion and Conclusion】

在医学图像分割领域的应用及其挑战。SAM在直接应用于医学图像分割时，由于医学图像与自然图像的显著差异，其性能在不同数据集和任务间有很大差异。为了弥补这一领域差距，进行了多项研究，探索适合的适应策略，以提高SAM的分割结果。此外，文中还讨论了SAM在医学图像分割领域的未来发展方向，包括构建大型医学数据集、加速医学图像标注、融合文本提示以及向多模态医学图像的扩展等方面。通过这些探索和改进，SAM有潜力成为临床应用中的有价值工具，尽管当前性能可能尚缺乏针对特定任务模型所见的稳定性。