【论文阅读】SAM医学图像分割近期工作综述

How Segment Anything Model (SAM) Boost Medical Image Segmentation?

论文：[2305.03678] How Segment Anything Model (SAM) Boost Medical Image Segmentation? (arxiv.org)

仓库：https://github.com/yichizhang98/sam4mis

摘要：

在这项工作中，我们总结了近期工作中以扩展 SAM 医疗图像分割的任务，包括经验基准和方法的调整，并讨论了潜在的未来方向的 SAM 在医疗图像分割。

SAM：略

SAM在医学图像上分割效果：

病理图像分割：在WSI图像上肿瘤分割、非肿瘤组织分割、细胞核分割。单个正点提示、20正+10负、每个实例所有的点/框，在大型联通物体上效果好，密集实例物体效果差。可能的原因包括 WSI 的图像分辨率明显高于 SAM 的训练图像分辨率，以及数字病理学中不同组织类型的多尺度。

基于CECT的肝肿瘤分割：提示点越多，性能越好，但是和UNet相比仍有差距。

结肠镜图像中的息肉分割：低于现有方法。可能是由于息肉和周围粘膜界限模糊。

大脑MRI分割：SAM 可以获得与 BET 相当甚至更好的性能。

腹部CT器官分割：随机选1，3，10个点，抖动为0.01，0.05，0.1，0.25，0.5以模拟不同用户的不确定性。尽管使用点提示的 SAM 表现不佳，平均 Dice 相似系数(DSC)下降20.3% 至40.9% ，但使用方框提示，即使在中度(0.1)抖动的情况下也能获得高度竞争性的表现。

内窥镜手术器械分割：缺乏提示时分割结果较差，当仪器重叠或者只有一个点作为提示时，SAM 无法预测仪器的某些部分。此外，SAM 在复杂的手术情况下也不能识别器械，如血液、反射、模糊和阴影。

其他多数据集评估：略

另外，segment anything model for medical images【11】收集了52个公开数据集，建立了一个大规模数据集COSMOS 553K，包括16种模式，68个目标和553K张图。研究发现，当背景点与前景点相似时，负面点的加入会使任务绩效略有下降。

如何更好的将SAM适配到医学图像分割？

扩展 SAM 在医学图像中的可用性。与传统的自然图像不同，医学图像大多采用 NII 和 DICOM 等特定格式。[ A 3d slicer integration to sam ]将 SAM 扩展到常用的医学图像查看器中，使用3D Slicer ，使研究人员能够在仅0.6秒内对医学图像进行分割。通过提示的分割过程可以在切片分割完成后自动应用到下一个切片。

医学数据集上 SAM 的微调。由于 SAM 的所有参数更新耗时、计算量大、部署困难，因此大多数研究集中在对 SAM 的一小部分参数(如图像编码器、提示编码器和掩码解码器)或它们的组合进行微调。[sam: Empowering skin cancer segmentation with segment anything mode]直接应用和微调 SAM (图像编码器除外)对皮肤癌分割任务的性能。通过对 target 数据集上的 SAM 进行微调，该模型可以在 Dice 中获得从81.25% 到88.79% 的显著性能提高。[ Segmentanythinginmedicalimages ]提出MedSAM，通过从超过20万个具有11种模式的mask的医学图像数据集，介绍用于通用图像分割的医学图像管理系统，并开发微调方法，使医学图像管理系统适应医学图像分割。该方法对21个三维分割任务的平均 Dice 相似系数(DSC)为22.51% ，对9个二维分割任务的平均 Dce 相似系数(DSC)为17.61% ，进一步提高了模板编码器的性能，证明了该方法对医学图像进行微调的有效性。然而，总体表现仍然落后于专业图像分割。为了利用切片之间的空间相关性进行三维医学图像分割，MSA 将注意操作分割为空间分支和深度分支，然后将深度分支的结果转换回原始形状并添加到空间分支的结果中。对19个医疗图像分割任务进行了综合实验，这些任务包括 CT、 MRI、超声波、眼底图像和皮肤镜图像。实验结果表明，通过微调，与最先进的方法相比，MSA 可以获得相当的性能。类似地，[ stomized segment anything model for medical image segmentation ]将基于低秩(LoRA)的微调策略应用于 SAM 图像编码器以及标记的医学图像分割数据集上的提示编码器和掩码解码器。通过对多器官分割数据集进行微调，SAM 可以获得比现有的分割方法更具竞争力的分割性能。

SAM输入增强：SAM生成分割结果，利用融合函数 SAMAug 进行输入增强，生成分割先验图和边界先验图。[ put augmentation with sam: Boosting medical image segmentation with segmentation foundation mode ]，具体来说，SAM 使用一个网格状的提示生成具有图像中所有合理位置的分割mask。然后，利用 SAM 生成的相应稳定的mask评分，绘制mask，形成分割先验映射。在分割先验映射的基础上，根据 SAM 提供的mask进一步生成边界先验映射。通过生成先验映射，将先验映射添加到具有多个通道的原始图像中，从而对输入图像进行增强。在两个数据集上的实验表明，比起 U-Net ，可以使细胞分割任务中的聚合 Jaccard 指数(AJI)从58.36% 提高到64.30% ，使腺体分割任务中的Object Dice从86.35% 提高到87.44% 。这些结果证明，虽然 SAM 不能生成高质量的医学图像分割，但这些生成的掩模和特征仍然有助于提高分割模型。

总结和讨论：

SAM 不能稳定、准确地实现多模态、多目标医学数据集的zero-shot分割。分割目标的不同属性和成像方式可能影响 SAM 的分割能力。特别是对于形状不规则、边界薄弱、尺寸小或对比度低的物体，SAM 可能输出较差的结果，甚至完全失败,

此外，由于自然图像与医学图像之间的显着差异，适当的医学图像微调策略可以在一定程度上改善不好的分割结果，达到可以与特定领域模型竞争的性能。

2D：与经典的2D 自然图像不同，许多医学扫描是3D 体积，如 MRI 和 CT。对于这些三维医学图像，医生需要利用相邻切片之间的相互关系。虽然 SAM 可以通过分割体积的每个切片来产生最终的分割结果，但是相邻切片之间的切片间信息被忽略了。许多先前的研究已经表明，切片间相关性对于识别某些物体以确保准确分割的重要性。

超越点和框提示符。一些实证研究表明，与点提示相比，使用方框提示可以获得更好的结果，因为可以获得相对更准确的位置信息。然而，如果在分割目标周围有多个相似的实例，大的边界框可能会混淆模型，并导致不正确的分割结果。除了点和框提示符之外，涂鸦提示符是另一种广泛用于医疗图像分割的交互作用，这对于一些形状不规则的非紧凑目标是有用的和有效的。

除了将 SAM 应用于医学图像分析之外，一些工作[32]还研究了 SAM 和眼球跟踪技术的集成，以设计一个协作人机交互系统，并使放射科医生能够通过简单地查看感兴趣的区域来获得分割mask。