SAM在zero-shot医学分割的性能（2023+Generalist Vision Foundation Models for Medical Imaging: A Case Study of）

摘要：

研究了最新的医学图像分割模型(SAM)，并报告了9个医学图像分割基准的定量和定性零采样分割结果，涵盖了各种成像方式，如光学相干断层扫描(OCT)、磁共振成像(MRI)和计算机断层扫描(CT)，以及不同的应用，包括皮肤病学、眼科和放射学。实验表明，虽然SAM在一般域的图像上表现出惊人的分割性能，但对于那些非分布的图像，例如医学图像，它的zero-shot分割性能仍然有限。此外，SAM在不同的未知医学领域表现出不同的分割性能。例如，在分割视网膜OCT的毛下膜层时，Dice平均得分为0.8704，而在分割视网膜色素上皮时，其分割准确率降至0.0688。对于某些结构化目标，例如血管，SAM的零射击分割完全失败，而在少量数据的情况下对其进行简单的微调，可以显著提高分割质量。研究表明，SAM在解决医学成像中的特定任务方面具有多功能性，并且它们具有通过微调实现理想性能的巨大潜力，并最终解决访问大型不同医疗数据集和医疗领域复杂性的挑战。

贡献点：

1.SAM在内窥镜和皮肤镜图像上的表现优于其他医学模式，这可能是因为SAM是用大量RGB图像数据训练的，而内窥镜和皮肤镜图像本质上是由RGB相机拍摄的图像。因此，当转移到相关的医学图像时，SAM在一般RGB图像上进行测试，可以表现出相对良好和一致的性能。

2.对于血管等具有连续分支结构的图像，SAM无法执行零距分割任务。当通过对树枝形状图像的测试，发现SAM实际上也无法以零射击的方式分割它们。

3.与专门为医学成像设计的模型相比，SAM对医学图像的零镜头分割能力还不错，但往往不如那些特定领域的模型。实验表明，在医学基准上，SAM的Dice系数通常比以前最先进的(SOTA)医学图像分割模型低0.1-0.4。在最坏的情况下，zero-shot SAM的Dice得分甚至比SOTA低0.65。

4.进行了微调SAM的初步实验。通过对少量视网膜血管数据进行简单的微调，SAM的分割质量得到了显著的提高，这表明SAM在医学图像微调分割方面具有巨大的潜力。

实验设置：

研究在单个NVIDIA RTX 3080 GPU上实现，并选择ViT-H SAM模型的官方检查点来测试SAM在零快照医学图像分割上的最佳性能。在对多种医学成像模式进行测试后，我们观察到这些模式的分割结果并不总是令人满意。

评价指标：dice 和 Iou

数据集：

 

皮肤镜图像实验结果：

 解刨学图像：

 

内窥镜OCT图像：

 断层扫描图像：

CT图像：

 

MRI图像：

 

X-Ray图像：

 

 内窥镜图像：