分割大模型论文阅读——nnSAM: Plug-and-play Segment Anything Model Improves nnUNet Performance

期刊分析

期刊名： arXiv
信息： 2023年论文

其余信息： 代码

摘要

计算机视觉基础模型的最新发展，特别是分割任意模型（SAM），允许可扩展且与领域无关的图像分割作为通用分割工具。与此同时，医学图像分割领域也从 nnUNet 等专门的神经网络中受益匪浅，该网络在特定领域的数据集上进行训练，并且可以自动配置网络以适应特定的分割挑战。为了结合基础模型和特定领域模型的优点，我们提出了 nnSAM，它将 SAM 模型与 nnUNet 模型协同集成，以实现更准确和鲁棒的医学图像分割。 nnSAM 模型利用 SAM 强大而稳健的特征提取功能，同时利用 nnUNet 的自动配置功能来促进数据集定制学习。我们对不同大小的训练样本对 nnSAM 模型的综合评估表明，