FS-MedSAM2：探索SAM2在无需微调条件下的小样本医疗图像分割潜力

最新推荐文章于 2024-11-10 17:18:52 发布

江湖人称麻花滕

最新推荐文章于 2024-11-10 17:18:52 发布

阅读量960

点赞数 12

文章标签：计算机视觉人工智能机器学习自动驾驶金融 llama

本文链接：https://blog.csdn.net/m0_59235699/article/details/142928516

版权

论文 FS-MedSAM2: Exploring the Potential of SAM2 for Few-Shot Medical Image Segmentation without Fine-tuning 介绍了FS-MedSAM2，一个基于Segment Anything Model 2（SAM2）的新框架，该框架无需对模型进行微调即可在小样本医疗图像分割任务中取得卓越的表现。

1. 引言

Segment Anything Model 2 (SAM2) 在自然图像和视频的零样本分割任务上展示了非凡的性能。通过简单的点或框提示，SAM2能够准确地分割图像中的目标前景，并在视频中追踪对象。然而，SAM2在应用于医疗图像时表现较差，尤其是在计算机断层扫描（CT）和磁共振成像（MRI）图像中，难以精确划分器官、肿瘤等结构。现有的方法大多依赖于对SAM2的某些组件（如掩码解码器）进行微调，但这些方法需要大量的标注数据和训练时间，且在分割目标图像时仍需要交互式提示。

作者提出了一种新的视角，即是否可以利用SAM2的记忆注意力模块和处理掩码提示的能力，在不微调的前提下，实现对少量支持图像的有效分割。基于此，FS-MedSAM2框架应运而生，利用SAM2在处理相邻图像语义信息方面的优势，在小样本医疗图像分割任务中取得了优异表现。

2. 相关工作

2.1 Segment Anything Model 2（SAM2）

相比于SAM，SAM2增加了视频分割的能力，除了图像编码器、提示编码器和掩码解码器，SAM2还包括了记忆编码器、记忆库和记忆注意力模块。SAM2的工作流程包括：1）对视频中的某些帧应用提示，独立生成这些帧的分割掩码；2）将这些帧的特征和掩码存储在记忆库中；3）对没有提示的帧，通过记忆注意力模块利用记忆库中的信息生成分割掩码。

2.2 SAM2在医疗影像中的适应

SAM2在医疗影像应用中的表现有限，现有的研究通常通过微调模型的某些组件（如掩码解码器或图像编码器）来提高其在医疗图像中的分割效果。虽然这些方法能够提升性能，但它们依赖于大量的标注数据，且仍需要交互提示。与之不同，FS-MedSAM2通过充分利用SAM2的记忆注意力模块，在不微调的前提下实现了小样本学习。

2.3 小样本医疗图像分割

小样本医疗图像分割旨在通过少量的支持图像及其分割掩码，准确地分割查询图像中的对应语义区域。大多数方法将连续的切片视为独立的实体，忽视了这些切片之间共享的语义信息。FS-MedSAM2通过利用SAM2的记忆注意力模块，从相邻切片中提取语义信息，进一步提高了分割性能。

3. 方法

FS-MedSAM2框架利用SAM2的记忆注意力模块，实现了高效的小样本分割。给定若干支持图像及其对应的分割掩码，模型首先通过记忆编码器将支持图像的特征和掩码信息存储在记忆库中。接着，对于每一个查询图像，模型通过记忆注意力模块从记忆库中提取相关信息，并与查询图像的特征融合，生成精确的分割结果。

FS-MedSAM2的整体框架。图中展示了当N=1时的框架结构。

掩码提示的重要性

掩码提示相比于点或框提示能够提供更精确的边界信息，尤其在医疗图像中至关重要。尽管获取掩码提示的成本较高，但它能显著提高SAM2在处理医疗图像时的分割效果。

4. 实验

4.1 数据集

FS-MedSAM2框架在两个公开的医疗图像数据集上进行了验证：

Synapse-CT：包含30个3D腹部CT扫描，用于评估左肾、右肾、肝脏和脾脏的分割性能。
CHAOS-MRI：包含20个3D腹部T2-SPIR MRI扫描，用于评估相同器官的分割性能。

4.2 实验设置

实验使用了SAM2的Hiera Tiny模型作为默认模型，并通过Dice系数（DSC）评价模型性能。

4.3 对比实验结果

在Synapse-CT和CHAOS-MRI数据集上，FS-MedSAM2与最先进的几种小样本分割方法进行了对比。实验结果显示，FS-MedSAM2在两个数据集上都达到了最新的最优性能，特别是在脾脏分割任务上，相比于之前的方法，分数提升了14.32%。

1S1Q (a) 和 S1SFQ (b) 的示意图。在 1S1Q 中，每个子查询体积都有一个对应的支持图像及其掩码；在 S1SFQ 中，整个查询体积只使用一个支持图像。

4.4 消融实验

实验进一步探讨了支持记忆的大小和推理顺序对分割性能的影响。结果表明，SAM2的Tiny模型在小样本分割任务中表现最佳，且从查询图像集的中间切片开始推理可以显著提高分割精度，避免了从最小前景开始推理导致的错误累积。

5. 结论

FS-MedSAM2展示了在不微调的情况下，通过充分利用SAM2的记忆注意力模块，实现小样本医疗图像分割的潜力。未来的工作将继续深入探索SAM2在医疗图像中的应用场景，并开发更具实用性的解决方案。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述