分割大模型论文阅读——Ladder Fine-tuning approach for SAM integrating complementary network

期刊分析

期刊名： ArXiv
期刊： 2023

其余信息： 代码

摘要

最近，引入了基础模型来演示计算机视觉领域的各种任务。这些模型（例如分割任意模型（SAM））是使用庞大数据集训练的通用模型。目前，正在进行的研究重点是探索这些通用模型在特定领域（例如医学成像）的有效利用。然而，在医学成像中，由于隐私问题和其他因素，训练样本的缺乏给这些广义模型应用于医学图像分割任务带来了重大挑战。为了解决这个问题，对这些模型进行有效的微调对于确保其最佳利用率至关重要。在本研究中，我们建议将互补的卷积神经网络 (CNN) 与标准 SAM 网络结合起来进行医学图像分割。为了减轻微调大型基础模型的负担并实现具有成本效益的训练方案，我们只专注于微调附加的 CNN 网络和 SAM 解码器部分。该策略显着减少了训练时间，