分割大模型论文阅读——Convolution Meets LORA: Parameter Efficient Finetuning for Segment Anything Model

期刊分析

期刊名： ICLR 2024
期刊信息： 顶会
代码： https://github.com/autogluon/autogluon/tree/master/examples/automm/Conv-LoRA

摘要

Segment Anything Model (SAM) 是图像分割的基础框架。虽然它在典型场景中表现出显着的零样本泛化能力，但当应用于医学图像和遥感等专业领域时，其优势就会减弱。为了解决这一限制，本文引入了 Conv-LoRA，这是一种简单而有效的参数高效微调方法。 通过将超轻量级卷积参数集成到低秩适应 (LoRA) 中，Conv-LoRA 可以将与图像相关的归纳偏差注入到普通 ViT 编码器中，进一步强化 SAM 的局部先验假设。 值得注意的是，Conv-LoRA 不仅保留了 SAM 广泛的分割知识，而且还恢复了其学习高级图像语义的能力，而这种能力受到 SAM 前景-背景分割预训练的限制。跨多个领域的不同基准的综合实验强调了 ConvLoRA 在使 SAM 适应现实世界语义分割任务方面的优越性。

---

引言

近年来ÿ