CLIP-Adapter：利用Adapter微调CLIP适配下游任务

最新推荐文章于 2025-03-13 06:53:18 发布
最新推荐文章于 2025-03-13 06:53:18 发布
阅读量4.3k 收藏 10
点赞数 2
分类专栏： 多模态Vision+Language 文章标签： 深度学习 自然语言处理 神经网络 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/120789500
版权

CLIP-Adapter: Better Vision-Language Models with Feature Adapters

论文地址：

https://arxiv.org/abs/2110.04544

代码地址：

https://github.com/gaopengcuhk/CLIP-Adapter

主要工作：

在本文中，作者证明了除了prompt tuning之外，还有另一种路径来实现更好的视觉语言模型。虽然提示调优是针对文本输入的，但作者建议CLIP-Adapter在视觉或语言分支上使用函数Adapter进行微调。具体来说，CLIP-Adapter采用了一个额外的瓶颈层来学习新特征，并执行与原始预训练特征相结合的残差样式特征混合。

因此，CLIP-Adapter能够优于上下文优化，同时保持一个简单的设计。对各种视觉分类任务的实验和广泛的消融研究证明了作者的方法的有效性。

具体实现：

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
IP-Adapter:text compatible image prompt adapter for text-to-image diffusion models
liguandong
10-10 1103
Imagen采用T5。上述方法的主要问题在于文本到图像扩散模型的cross-attention，query是可学习的，文本信息是key和value，预训练扩散模型中的cross-attention的key和value的投影权重是经过训练的，以适应文本特征，因此，将图像特征和文本特征合并到cross-attention只能实现图像特征和文本特征的对齐，但有可能错过一些图像特定的信息，最终导致只基于参考图像的粗粒度可控生成。例如，流行的sd模型是基于从冻结的clip文本编码器中提取的文本特征进行条件限定的。
【深度学习】IP-Adapter-FaceID，IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion
q742971636的博客
04-01 1762
近年来，大型文本到图像扩散模型的强大能力在创造高保真图像方面取得了令人印象深刻的成果。然而，仅使用文本提示来生成所需图像是非常棘手的，因为这通常涉及复杂的提示工程。文本提示的一个替代方案是图像提示，正如俗话所说：“一幅图胜过千言万语”。尽管现有的直接从预训练模型进行微调的方法有效，但它们需要大量的计算资源，并且与其他基础模型、文本提示和结构控制不兼容。在本文中，我们提出了IP-Adapter，这是一种有效且轻量级的适配器，用于实现预训练文本到图像扩散模型的图像提示能力。
CLIP-MMA: Multi-Modal Adapter for Vision-Language Models
weixin_50917576的博客
11-30 1290
大型pre-trained视觉语言模型,如剪辑[26],具有最先进的性能在一个广泛的图像分类任务,而不需要再培训。Few-shot CLIP与在下游任务上训练的现有专业架构具有竞争力。最近的研究表明，使用轻量级自适应方法可以进一步提高CLIP的性能。然而，以前的方法单独适应CLIP模型的不同模式，忽略了视觉和文本表示之间的相互作用和关系。在这项工作中，我们提出了多模态适配器，一种多模态自适应CLIP的方法。具体来说，我们添加了一个可训练的多头注意层，该层结合了文本和图像特征，以产生两者的附加适应。与现有的自
【有啥问啥】CLIP Adapter：提升视觉语言模型性能的利器
Chauvin的博客
10-23 2023
CLIP Adapter作为一种轻量级且高效的模型扩展方法，为CLIP模型的应用提供了更多的可能性。通过引入适配层，CLIP Adapter能够在保持CLIP模型强大表征能力的同时，更好地适应下游任务，从而提升模型的性能。未来，随着研究的深入和技术的不断发展，CLIP Adapter有望在更多领域和任务中展现出其独特的优势和价值。我们期待看到更多关于CLIP Adapter的创新研究和应用实践，为视觉语言模型的发展注入新的活力。
预训练模型微调 | 一文带你了解Adapter Tuning
最新发布
weixin_42001184的博客
03-13 1051
引言前几天的一篇文章，给大家介绍了预训练模型的微调方法Prompt Tuning。今天在给大家介绍另外一种主流的预训练模型Adapter，并将两种方法做了对比。关注 AINLPer公众号，每日干货第一时间送达随着计算机硬件性能的提高，预训练模型参数量越来越多，在训练下游任务时进行全模型微调变得昂贵且耗时，Adapter 的出现缓解了这个问题。Adapter在预训练模型每层中插入用于下游任务的参数，在微调时将模型主体冻结，仅训练特定于任务的参数，减少训练时算力开销。Adapter模块设计方法。
CLIP-Adapter: Better Vision-Language Models with Feature Adapters
weixin_48907099的博客
07-01 1719
为避免复杂的特征工程，CoOp 等方法通过上下文优化来学习一个有效的 Prompt，Prompt Tuning 大多应用于文本分支，因此提出一种方法在文本 / 图像分支添加适配器。
CLIP微调方式
weixin_44966641的博客
10-12 6306
以学习 prompt 的方式来进行少样本学习，性能提升的同时还能保持 CLIP 模型本身参数不动。挺有用的一篇工作，虽然这种 prompt 的方式在 NLP 中早就有了，但应用到多模态 CLIP 中还是有一些意义的。
图片速览 CLIP-Adapter: Better Vision-Language Models with Feature Adapters
ResumeProject的博客
09-24 1946
大规模对比视觉语言预训练在视觉表征学习方面取得了显著进展。与由一组固定的离散标签训练的传统视觉系统不同，在（Radford等人，2021）中引入了一种新范式，以直接学习在开放词汇环境中将图像与原始文本对齐。在下游任务中，使用精心选择的文本提示进行零炮预测。为了避免非平凡的提示工程，提出了上下文优化（Zhou等人，2021），将连续向量学习为任务特定的提示，并使用少量的快照训练示例。在本文中，我们展示了实现更好的视觉语言模型的另一种途径，而不是快速调优。
CLIP-Adapter: Better Vision-Language Models with Feature Adapters 论文解读
qq_61786525的博客
11-23 1999
大规模对比视觉-语言预训练在视觉表示学习方面取得了显著进展。与传统的通过固定一组离散标签训练的视觉系统不同，(Radford et al., 2021) 引入了一种新范式，该范式在开放词汇环境中直接学习将图像与原始文本对齐。在下游任务中，通常需要精心设计的文本提示来进行零样本预测。为避免复杂的提示工程，(Zhou et al., 2021) 提出了上下文优化方法，利用少量样本学习连续向量作为任务特定的提示。在本文中，我们展示了除了提示调优之外，还有一条实现更优视觉-语言模型的替代路径。提示调优是针对文本输入
可控图像生成 论文解读 IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
qq_50848391的博客
10-20 2471
其实本篇文章的核心思想和简单，就是冻结Stable Diffusion的参数，只对原Stable Diffusion结构中的CrossAttnDownBlock2D做了更改，由原来的一个TransformerBlock变成了两个（不是串联，可以理解为并联再相加），新加入的TransformerBlock与原本的TransformerBlock不同之处在于输入不同，一个是Text Embedding，一个是Image Embedding。
T2I-Adapter:Learning adapters to dig out more controllable ability for text-to-image diffusion model
liguandong
09-05 1126
如下图所示，将DDIM推断采样均匀的分为3个阶段，即开始，中间和后期阶段，然后将指导信息添加到每个阶段，在中间和后期添加指导信息基本没有什么影响，因此生成结果主要内容是在早期采样阶段确定的，因此，t是从后面的部分采样的，在训练中则忽略，为了加强adapter的训练，采用非均匀采样来增加t落入早期采样的概率。T2I模型生成结果通常有丰富的纹理，清晰的边缘，合理的机构和有意义的语义，这表明T2I可以通过一种隐式的方式很好的捕捉不同层次的信息，从低层次（例如纹理），中层次（例如边缘）到高层次（语义）。
​上海AI Lab&罗格斯大学&港中文提出CLIP-Adapter，用极简方式微调CLIP中的最少参数！...
我爱计算机视觉
12-03 2249
关注公众号，发现CV技术之美本文分享论文『CLIP-Adapter: Better Vision-Language Models with Feature Adapters』，由上海AI ...
CLIP微调方法
LIN2020LOVEDA的博客
08-12 1418
CLIP微调方法
Clip下游任务解读
qq_52053775的博客
04-13 429
通过这种方式，VQGAN能够在压缩图像信息的同时保留关键特征，这对于后续的图像生成任务至关重要。在图像生成任务中，VQGAN和CLIP可以携手合作。
论文笔记：Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling
weixin_44031582的博客
12-14 8389
Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling Tip-Adapter为CLIP模型添加了一个两层多层感知器(MLP)的Adapter和一个结合pre-trained features与updated features的残差连接。与CLIP-Adapter不同，Tip-Adapter不需要SGD来训练Adapter，而是从few-shot监督中构建一个query-key缓存模型，以获得Adapter的权
论文笔记：Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling详解
zcyzcyjava的博客
08-28 2636
Tip-Adapter通过一个键值缓存模型从几张照片的训练集中构建适配器，并通过特征检索更新CLIP中编码的先验知识。此外，在此基础上，通过对缓存模型的微调，Tip-Adapter的性能可以进一步提升到ImageNet上的最先进水平，比现有的方法少10倍的epochs，这既有效又高效。.........
大幅提升CLIP图像分类准确率-Tip-Adapter
whaosoft143ai的博客
09-25 2027
为了进一步提升 CLIP 的迁移性能，现有方法使用了 few-shot 的设置，例如 CoOp 和 CLIP-Adapter，即提供了少量下游数据集的训练数据，使得 CLIP 能够更好的针对不同的视觉场景做出调整。因为 CLIP 的 Textual Encoder 输出的特征可以看作是文本的 Key-Value，即相当于测试图片特征作为 Query，分别在视觉和文本的 Cache 中检索知识，相对于现有的仅含视觉 Cache 的方案，Tip-Adapter 能够利用多模态知识得到更强的识别性能。
clip adapter
07-27
CLIP-Adapter是一篇名为"CLIP-Adapter: Better Vision-Language Models with Feature Adapters"的论文提出的方法。\[1\]该方法通过引入两个可学习的特征适配器Av(⋅)和At(⋅)，对视觉特征f和文本特征W进行线性变换。这些适配器通过残差连接与预训练的CLIP模型相结合，以避免遗忘原始知识。\[2\]CLIP-Adapter的主要工作是在视觉或语言分支上使用函数Adapter进行微调，以实现更好的视觉语言模型。具体来说，CLIP-Adapter引入了一个额外的瓶颈层来学习新特征，并执行与原始预训练特征的残差样式特征混合。\[3\]通过这种方式，CLIP-Adapter提供了一种替代prompt tuning的路径来改进视觉语言模型的性能。 #### 引用[.reference_title] - *1* *3* [CLIP-Adapter：利用Adapter微调CLIP适配下游任务](https://blog.csdn.net/weixin_44936889/article/details/120789500)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [CLIP-Adapter: Better Vision-Language Models with Feature Adapters](https://blog.csdn.net/weixin_48907099/article/details/131488484)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值