分割大模型论文阅读——All-in-SAM: from Weak Annotation to Pixel-wise Nuclei Segmentation

期刊分析

期刊名： Journal of Physics: Conference Series
期刊信息： EI会议

摘要

分割任意模型 (SAM) 是最近在通用零样本分割方法中提出的基于提示的分割模型。凭借零样本分割能力，SAM 在各种分割任务上实现了令人印象深刻的灵活性和精度。然而，当前的流程在推理阶段需要手动提示，这对于生物医学图像分割来说仍然是资源密集型的。在本文中，我们没有在推理阶段使用提示，而是引入了一种利用 SAM 的方法（称为 all-in-SAM），贯穿整个 AI 开发工作流程（从注释生成到模型微调），而无需在推理过程中进行手动提示阶段。具体来说，SAM 首先用于根据弱提示（例如点、边界框）生成像素级注释。然后，使用像素级注释来微调 SAM 分割模型，而不是从头开始训练。我们的实验结果揭示了两个关键发现：1）所提出的流程在公共 Monuseg 数据集上的细胞核分割任务中超越了最先进的方法，2）利用弱且少量的 SAM 微调注释实现了有竞争力的性能与使用强像素注释数据相比。

---

引言

基础模型是一类在广泛数据集上进行预训练的强大模型，可以针对特定应用进一步开发[1]、[2]。以分割任意模型（SAM）