实现分割自动化！基于SAM的医学图像分割又双叒叕有新突破

SAM（Segment Anything Model）是一种先进的图像分割模型，在医学图像分割领域的应用潜力巨大。通过不同的策略和改进，它能够更好地适应医学图像的特点，提高分割的准确性和效率，是论文订刊的新热点之一。

为此，沃的顶会精选了13种【SAM+医学图像分割】改进方案，希望给各位的学术研究提供一些思路。

1、使用基础模型进行一次性医学图像分割

标题：ProtoSAM - One Shot Medical Image Segmentation With Foundational Models

方法：本文提出了一种用于单点医学图像分割的新框架ProtoSAM。它结合了以少镜头分割著称的原型网络和自然图像基础模型SAM的使用。该方法使用ALPnet原型网络创建初始粗分割掩码，并添加DINOv2编码器。在提取初始掩码之后，提取提示，例如点和边界框，然后将其输入到Segment Anything Model (SAM)中。最先进的结果显示在几个医学图像数据集上，并使用单个图像示例(一次拍摄)演示自动分割功能，无需对基础模型进行微调。

创新点：

1）结合原型网络和基础模型：ProtoSAM结合了原型网络PN，特别是ALPNet，以及自然图像基础模型SAM。

2）无需微调：ProtoSAM能够在不微调基础模型的情况下，通过单次示例实现自动化分割，这大大减少了对大量标记数据的依赖。

3）初始粗糙分割和提示提取：首先使用ALPnet原型网络结合DINOv2编码器创建初始粗糙的分割掩码，然后提取提示（如点和边界框）以指导SAM进行更精细的分割。

4）自动化和提示基础的分割：SAM模型支持全自动和基于提示的分割，ProtoSAM利用这一点，通过设计适当的提示来实现对医学图像的单次分割。

需要的同学添加公众号【沃的顶会】 回复 SAM13 即可全部领取

2、以极其有限的注释增强半监督医学图像分割

标题：SemiSAM: Exploring SAM for Enhancing Semi-Supervised Medical Image Segmentation with Extremely Limited Annotations

方法：本文提出了一种简单而有效的策略来探索SAM作为附加监督分支的使用，以增强在极有限注释的情况下基于一致性学习的半监督医学图像分割框架。该半监督分割框架使用均值教师框架，主要由两个组件组成：主要分支与分割网络输入原始图像并生成主要分割输出(即学生模型的均值教师输出)，以及一致性分支，将扰动引入到输入图像或网络条件(即学生模型到均值教师的指数移动平均(EMA))，以生成额外的分割输出(即均值教师的输出)。

创新点：

1）提出了一种简单而有效的方法，探索将SAM作为增强一致性学习半监督医学图像分割框架的额外监督分支，该框架在标注资源极度有限的情况下进行。具体而言，分割模型为SAM提供信息，用于定位和生成指向SAM的提示点。

2）除了优化分割模型，基于 Token 案例的监督分割损失和基于未标注案例的一致性损失，作者还利用SAM和分割模型之间的预测一致性作为额外的监督信号，以辅助学习过程。

3）通过在两个半监督学习框架下对左心房（LA）数据集进行实验，SAM的辅助显著增强了分割性能，尤其是在只有一张或几张 Token 图像的情况下。

需要的同学添加公众号【沃的顶会】 回复 SAM13 即可全部领取

3、分割医学图像中的任何内容

标题：Segment Anything in Medical Images

方法：在SAM基础模型基础上进行改进，提出了可显著增强医学图像上的分割性能的MedSAM。MedSAM通过在一个超过一百万医学图像-掩码对的前所未有的数据集上对SAM进行微调来实现这一点。通过 86 个内部验证任务和 60 个外部验证任务的综合实验对 MedSAM 进行了全面评估，涵盖各种解剖结构、病理条件和医学成像模式。

创新点：

1）策划了一个多样化的大规模医学图像分割数据集，其中包含 1570263 个医学图像掩模对，涵盖 10 种成像模式、30 多种癌症类型和多种成像协议。

2）进一步引入了 MedSAM，这是一种改进的基础模型，它显著提高了SAM在医学图像上的分割性能。

3）实验结果表明，MedSAM 始终优于最先进的 (SOTA) 分割基础模型，同时实现与在相同模态图像上训练的专业模型相当甚至超过的性能。这些结果凸显了 MedSAM 作为多功能医学图像分割新范例的潜力。