分割大模型论文阅读——SAM on Medical Images: A Comprehensive Study on Three Prompt Modes

期刊分析

期刊名： arXiv
期刊信息： 2023-4-28

摘要

分割任意模型（SAM）最近引人注目，激发了许多研究人员探索其在零样本泛化能力方面的潜力和局限性。作为第一个用于分割任务的快速基础模型，它是在具有空前数量的图像和注释的大型数据集上进行训练的。这种大规模数据集及其及时性赋予模型强大的零样本泛化能力。尽管 SAM 在多个数据集上表现出了有竞争力的性能，但我们仍然想研究其在医学图像上的零样本泛化。众所周知，医学图像标注的获取通常需要专业从业者的大量努力。因此，如果存在一个基础模型，可以仅根据几个点提示就给出高质量的掩模预测，那么该模型无疑将成为医学图像分析的游戏规则改变者。 为了评估 SAM 是否有潜力成为医学图像分割任务的基础模型，我们收集了超过 12 个涵盖各种器官和模式的公共医学图像数据集。我们还探讨了什么样的提示可以通过不同的方式带来最佳的零样本性能。此外，我们发现一种模式表明框大小的扰动将显着改变预测精度。最后，大量实验表明，不同数据集的预测掩模质量差异很大。向 SAM 提供适当的提示（例如边界框）将显着提高其性能。

---

引言

近年来，用数十亿甚至数万亿参数预训练的大型语言模型已成为人工智能领域最有影响力的趋势。 ChatGPT 或 LLaMA 等大型语言模型 (LLM) 可以轻松扩展