分割大模型论文阅读——Convolution Meets LORA: Parameter Efficient Finetuning for Segment Anything Model

最新推荐文章于 2025-02-27 10:52:46 发布
最新推荐文章于 2025-02-27 10:52:46 发布
阅读量432 收藏 1
点赞数
分类专栏： 医学图像分割论文阅读 文章标签： 论文阅读 深度学习 机器学习 pytorch 图像处理 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44864833/article/details/139044202
版权
本文介绍了Conv-LoRA，一种新的参数高效微调（PEFT）方法，用于改善Segment Anything Model（SAM）在图像分割任务中的性能。Conv-LoRA通过结合卷积运算和动态选择特征尺度的混合专家（MoE）概念，增强了SAM的局部先验和高级语义学习能力。实验表明，Conv-LoRA在不同领域的语义分割任务中优于其他PEFT技术，包括自然图像、农业、遥感和医学图像。此外，研究发现SAM的预训练限制了其捕获高级图像语义信息的能力，而Conv-LoRA有助于解决这一问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Convolution Meets LORA

期刊分析

期刊名： ICLR 2024
期刊信息： 顶会
代码： https://github.com/autogluon/autogluon/tree/master/examples/automm/Conv-LoRA
在这里插入图片描述

摘要

Segment Anything Model (SAM) 是图像分割的基础框架。虽然它在典型场景中表现出显着的零样本泛化能力，但当应用于医学图像和遥感等专业领域时，其优势就会减弱。为了解决这一限制，本文引入了 Conv-LoRA，这是一种简单而有效的参数高效微调方法。 通过将超轻量级卷积参数集成到低秩适应 (LoRA) 中，Conv-LoRA 可以将与图像相关的归纳偏差注入到普通 ViT 编码器中，进一步强化 SAM 的局部先验假设。 值得注意的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
分割大模型论文阅读——Ladder Fine-tuning approach for SAM integrating complementary network
Philo的博客
05-20 262
最近，引入了基础模型来演示计算机视觉领域的各种任务。这些模型（例如分割任意模型（SAM））是使用庞大数据集训练的通用模型。目前，正在进行的研究重点是探索这些通用模型在特定领域（例如医学成像）的有效利用。然而，在医学成像中，由于隐私问题和其他因素，训练样本的缺乏给这些广义模型应用于医学图像分割任务带来了重大挑战。为了解决这个问题，对这些模型进行有效的微调对于确保其最佳利用率至关重要。在本研究中，我们建议将互补的卷积神经网络 (CNN) 与标准 SAM 网络结合起来进行医学图像分割。
lora:low-rank adaption of large language models
liguandong
03-10 2929
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
Segment Anything专题论文和代码汇总
如果想成为中心，那么就到中心去吧。
05-24 3360
分段任意事物模型（SAM）的成功证明了以数据为中心的机器学习的重要性。然而，由于标注遥感（RS）图像的困难和高成本，大量有价值的RS数据仍未被标记，特别是在像素级。在本研究中，我们利用SAM和现有的RS目标检测数据集，开发了一个有效的管道来生成一个大规模的RS分割数据集，称为SAMRS。SAMRS在大小上比现有的高分辨率RS分割数据集多出几个数量级，并提供了对象类别、位置和实例信息，可以用于语义分割、实例分割和对象检测，可以单独或组合。我们还从各个方面对SAMRS进行了全面的分析。
论文阅读与源码解析：ConvLoRA
weixin_70351416的博客
08-05 850
目的：解决上述限制，仍然保留 SAM 在预训练期间获得的有价值的分割知识，我们在冻结大部分 SAM 的预训练权重的同时微调一小组（额外）模型参数，微调模块能增强SAM编码器与图像相关的局部先验，促进高级语义信息的获取。现有的工作未能分析或解决 SAM 固有的某些限制。遵循LoRA设计策略，在预训练权重旁边添加一个旁路。预训练SAM微调下游任务以提高性能。
万字长文从零解读SAM(Segment Anything Model)大模型！万物皆可分割！(含源码解析)
强化学习曾小健
02-27 2776
首先，mask进入一个1x2x2x4的卷积，stride=2；在非全局注意力的Block中，将attention层输出的特征图1x70x70x768转化为1x64x64x768的特征图，实际上是通过切片操作x = x[:1, :64, :64, :]，从1x70x70x768的特征图中取出左上角的1x64x64x768部分。如下图(a)所示，模型的输入是原始的图像和一些prompt，目标是输出"valid"的分割，所谓valid，就是当prompt的指向是模糊时，模型能够输出至少其中一个mask。
【图像分割 2024 ICLR】Conv-LoRA
wujing1_1的博客
02-17 4721
分割任意模型(SAM)是图像分割的基本框架。虽然它在典型场景中表现出显著的零射击泛化，但当应用于医学图像和遥感等专业领域时，其优势就会减弱。为了解决这一限制，本文介绍了一种简单而有效的参数高效微调方法——卷积- lora。通过将超轻量级卷积参数集成到低秩自适应(Low-Rank Adaptation, LoRA)中，卷积LoRA可以将图像相关的归纳偏差注入到普通的ViT编码器中，进一步强化SAM的局部先验假设。
[论文阅读] Convolution Meets LoRA: Parameter Efficient Finetuning for Segment Anything Model
xiongxyowo的博客
01-10 1699
Segment-Anything Model (SAM) 是图像分割的基础框架。 虽然它在典型场景中表现出显着的零样本泛化能力，但当应用于医学图像和遥感等专业领域时，其优势就会减弱。 为了解决这一限制，本文引入了 Conv-LoRA，这是一种简单而有效的参数高效微调方法。 通过将超轻量级卷积参数集成到 LoRA 中，Conv-LoRA 可以将与图像相关的归纳偏差注入到普通 ViT 编码器中，进一步强化 SAM 的局部先验假设。 值得注意的是，Conv-LoRA 不仅保留了 SAM 广泛的分割知识，而且还恢复
【分割大模型】SAM2（Segment Anything2）新的分割一切大模型（原理+安装+代码）
热门推荐
qq_45752541的博客
08-14 1万+
Segment Anything Model 2（SAM 2）是由Meta公司发布的一个先进的图像和视频分割模型。它是Segment Anything Model（SAM）的升级版本，SAM是Meta的FAIR实验室发布的一款用于图像分割的基础模型，能够在给定提示的情况下生成高质量的对象mask。
新一代分割一切大模型SAM2（Segment Anything Model 2）介绍，可轻松分割图片与视频
阿旭的博客
07-31 3521
新一代分割一切大模型SAM2（Segment Anything Model 2）介绍，可轻松分割图片与视频
【论文速览】图像分割领域的通用大模型SegGPT - Segmenting Everything in Context
要相信光
04-13 3391
本文主要介绍了图像分割领域的通用大模型SegGPT，全文名：SegGPT - Segmenting Everything in Context.
SVDiff: Compact Parameter Space for Diffusion Fine-Tuning——【论文笔记】
qq_45791526的博客
02-03 2013
SVDiff: Compact Parameter Space for Diffusion Fine-Tuning——【论文笔记】
论文阅读——KPConv: Flexible and Deformable Convolution for Point Clouds
Dujing2019的博客
02-06 8053
论文阅读——KPConv（一）Abstract（二）Introduction（三）Related Work3.1 Projection networks3.2 Graph convolution networks3.3 Pointwise MLP network3.4 Point convolution networks（四）Kernel Point Convolution4.1 A Kernel...
[医学分割大模型系列] (1) SAM 分割大模型解析
qq_38736504的博客
03-22 2375
[TOC]([医学大模型系列] (1) SAM 分割大模型解析)
通过代码学习分割大模型论文《Segment Anything》
dongyuqing1987的博客
05-25 491
前段时间看了facebook的分割大模型SAM；论文1比较抽象，所以结合代码，看了一下模型的细节。将自己看到的记录如下，理解的不到位的地方欢迎大家交流。
视觉GPT | SegGPT：大通用分割模型登场！利用视觉 prompt 分割万物
专注计算机视觉全栈知识分享
04-19 805
本文介绍了一种基于上下文视觉学习的通用分割模型SegGPT，展示了如何设计合适的训练策略，充分利用上下文视觉学习的灵活性。该模型在处理领域内和领域外的分割任务方面表现出强大的能力。然而，文章也指出了一些缺点，在上下文训练中引入了新的随机着色机制，使得训练任务本质上更加困难。我们相信，SegGPT在图像/视频分割领域中有潜力成为实现更多种类应用的有力工具。后续我们计划通过扩大模型规模来进一步提高性能，但这也带来了寻找更多数据的挑战。我们希望我们的工作能够激励社区继续探索计算机视觉中上下文学习的潜力。
计算机视觉：分割一切AI大模型segment-anything
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-27 7719
Segment Anything Model (SAM)来源于Facebook公司Meta AI实验室。据Mata实验室介绍，SAM 已经学会了关于物体的一般概念，并且它可以为任何图像或视频中的任何物体生成 mask，甚至包括在训练过程中没有遇到过的物体和图像类型。SAM 足够通用，可以涵盖广泛的用例，并且可以在新的图像领域上即开即用，无需额外的训练。在深度学习领域，这种能力通常被称为零样本迁移（这种能力正是GPT4 震惊世界的一大原因).
计算机视觉走向如何？分割大模型全面盘点（SAM/SegGPT/SEEM等）
CV_Autobot的博客
05-19 6774
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心很荣幸邀请到小乌龟，为大家分享分割大模型近期的发展情况。如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【语义分割】技术交流群后台回复【分割综述】获取语义分割、实例分割、全景分割、弱监督分割等超全学习资料！作者｜小乌龟编辑｜自动驾驶之心计算机视觉分割是计算机视觉领域的一个重要子领域，...
【图像分割】大模型SegmentAnything、FastSAM与MobileSAM对比
qq_45752541的博客
10-09 3762
sam作为首个分割一切的zero shot 图像分割模型，展现出了强大性能。紧随其后，今年陆续出了FastSAM 与 MobileSAM两个加速版本。博主已经安装，亲测效果很棒
机器学习笔记 Segment Anything用于图像分割的通用大模型
学以致用 知行合一
05-03 1558
人工智能中的基础模型正变得越来越重要。它们被定义为在大量数据上训练的大型人工智能模型，可以适应广泛的任务。基础模型的早期例子是大型语言模型（LLM），如GPT和BERT。随后，该行业也看到了同样的想法被应用于多模态基础模型，如DALLE、CLIP等。基础模型这个术语开始在NLP领域得到实践并正在进一步加快步伐。Segment Anything是Meta的一个项目，旨在为图像分割的基础模型构建起点，其野心也可见一斑。该项目主要包含两个重要组件：1、用于图像分割的大型数据集。
大模型语义分割
最新发布
03-20
### 大模型在语义分割中的技术实现与应用场景 #### 技术实现 大模型在语义分割中的应用主要依赖于先进的架构设计以及强大的计算能力。例如，基于 Transformer 的 Segmentation 方法已经在语义分割领域取得了显著进展。Segmenter 是一种典型的基于视觉 Transformer (Vision Transformer, ViT) 的算法，它利用 attention 机制捕获长距离依赖关系，从而提升对复杂场景的理解能力[^3]。这种特性对于需要高精度的语义分割任务尤为重要。 此外，MaskFormer 将 Transformer 和卷积神经网络相结合，能够同时生成实例分割和语义分割的结果。这种方法不仅提高了分割效率，还增强了模型对不同类别对象边界的敏感度。这些技术实现了从像素级到全局上下文理解的跨越，进一步提升了语义分割的效果。 为了应对多样化的文档图像处理需求，现代大模型还可以通过预训练的方式获取丰富的先验知识，并将其迁移到具体的语义分割任务上。这得益于大规模无监督学习策略的支持，使模型能够在少量标注样本的情况下完成高质量的任务执行[^1]。 #### 应用场景 语义分割的应用范围广泛，涵盖了多个行业和技术领域。以下是几个典型的应用案例： 1. **自动驾驶** 自动驾驶车辆需要精准感知周围环境，而语义分割正是解决此问题的关键工具之一。通过对道路、行人、交通标志等元素进行细致划分，可以帮助系统做出更加安全可靠的决策[^2]。 2. **医疗影像分析** 在医学诊断中，医生经常借助计算机辅助手段快速定位病变区域。采用高性能的大规模深度学习框架可以有效提高检测准确性并缩短诊疗时间。 3. **遥感数据分析** 利用卫星拍摄的地表图片开展土地覆盖类型监测等工作时，也需要依靠高效的自动化解决方案来进行大面积的数据整理工作。此时引入具备强大泛化能力的大模型无疑会带来事半功倍的效果。 4. **工业质检** 对产品表面缺陷实施全面筛查属于制造业质量控制环节的重要组成部分。凭借先进的人工智能技术支持，企业可大幅降低人工成本的同时保持高标准的产品品质。 ```python import torch from transformers import SegformerForSemanticSegmentation model = SegformerForSemanticSegmentation.from_pretrained("nvidia/segformer-b0-finetuned-ade-512-512") def perform_segmentation(image_tensor): outputs = model(pixel_values=image_tensor) logits = outputs.logits # shape (batch_size, num_labels, height/4, width/4) return logits.argmax(dim=1).cpu().numpy() # 返回预测标签图 ``` 上述代码片段展示了如何加载一个经过微调后的 SegFormer 模型以执行语义分割操作。该模型适用于各种复杂的现实世界场景，体现了当前技术水平下的卓越表现力。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Philo`

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值