CoOp: Learning to Prompt for Vision-Language Models

已于 2023-05-23 09:55:36 修改
阅读量248 收藏
点赞数
分类专栏： Prompt in CV 文章标签： 人工智能 计算机视觉
于 2023-05-08 21:40:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuvLive/article/details/130565985
版权
CoOp是针对视觉语言预训练模型的一种上下文优化方法，通过学习的向量来建模提示，改进了如CLIP模型在图像识别等任务上的性能，尤其在few-shot学习中表现出色，同时具有良好的领域泛化能力。
摘要由CSDN通过智能技术生成

目录

Abstract

Introduction

Method

Vision-Language Pre-training

Context Optimization

Experiments

Few-Shot Learning

Domain Generalization

Further Analysis

Conclusion, Limitations and Future Work

Abstract

像CLIP这样的大型预先训练的视觉语言模型在表征学习方面显示出巨大的潜力，这些表征可以在广泛的下游任务中迁移。与传统的基于离散化标签的表征学习不同，视觉语言预训练模型将图像和文本在一个共同的特征空间中对齐，允许通过 prompt 做 zero-shot 迁移到下游任务，分类权重是从我们感兴趣类别的自然语言描述中合成的。

这项工作中我们表明，在实践中部署此类模型的一个主要挑战是 prompt engineering，这需要相关领域专业知识，并且非常耗时——人们需要花费大量时间在单词调优上，因为单词的微小变化可能会对性能产生巨大影响，例如在类别前有无“a”；Prompt engineering还需要关于任务的先验知识：花朵、纹理、卫星等，如下图：（而且即使是做了大量的调整，最后的精度可能不是最优的）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LuvMyLife
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
CoCoOp: Conditional Prompt Learning for Vision-Language Models
LuvLive的博客
05-18 2381
Conditional Prompt Learning for Vision-Language Models
Flamingo Model - 一种通过few-shots方法的VLM（Vision-Language Model）
a_big_king的博客
08-09 1331
构建能够仅使用少量标注示例迅速适应新任务的模型是多模态机器学习研究面临的一个挑战。我们引入了Flamingo模型，这是一种具备这种能力的视觉语言模型（VLM）。链接强大的预训练视觉和语言模型；处理任意交错排列的视觉和文本数据序列；无缝接收图像或视频作为输入。由于模型具有的灵活性，可以在包含任意交错文本和图像的大规模多模态网络语料库上进行训练，从而赋予它们上下文感知式少样本学习能力。
Vision Language Models in Autonomous Driving and Intelligent Transportation Systems
weixin_46254816的博客
01-22 1287
视觉语言模型（VLM）在自动驾驶（AD）和智能交通系统（ITS）领域的应用由于其出色的性能和利用大型语言模型（LLM）的能力而引起了广泛的关注。通过整合语言数据，车辆和交通系统能够深入了解现实世界的环境，提高驾驶安全性和效率。在这项工作中，我们提出了一个全面的调查在这一领域的语言模型的进展，包括当前的模型和数据集。此外，我们还探讨了潜在的应用和新兴的研究方向。最后，我们深入讨论了挑战和研究差距。本文旨在为研究者提供目前的工作和未来的发展趋势的VLM在AD和ITS。
微型化的视觉语言模型（Visual Language Model, VLM）
先天无极编程圣体的博客
08-16 266
TinyGPT-V是一种微型化的视觉语言模型（Visual Language Model, VLM），结合了视觉和语言理解能力，能够处理涉及图像和文本的任务。这类模型通常在计算机视觉和自然语言处理的交叉领域发挥作用，比如图像描述生成、视觉问答（Visual Question Answering, VQA）、图像搜索等任务。TinyGPT-V代表了视觉语言模型在计算资源受限环境中的一种新兴方向。通过微型化的设计，它能够在保持一定性能的前提下，在资源受限的设备上实现多模态任务的处理，具有广泛的应用前景。
【多模态】13、Vision-Language 模型在视觉任务中的调研
呆呆的猫的博客
06-17 1941
本文主要介绍了 vision-language 模型在视觉任务中的使用
翻译：视觉语言动作模型，将在线知识转化到机器人控制RT-2: Vision-Language-Action ModelsTransfer Web Knowledge2Robotic Control
weixin_41407147的博客
07-30 1411
在广泛的网页规模数据集上预训练的高容量模型为各种下游任务提供了有效而强大的平台：大型语言模型不仅能使文本生成流畅（Anil等人，2023;Brohan等人，2022;OpenAI，2023），而且能解决新出现的问题（Cobbe等人，2021;Lewkowycz等人，2022;Polu等人，2022）并创造性地生成散文（Brown等人，2020;OpenAI，2023）和代码（Chen等人，2021），而视觉-语言模型则能实现开放词汇的视觉识别（Kirillov等人，2023;Minderer等人，2022。
【prompt五】CoCoOP:Conditional Prompt Learning for Vision-Language Models
m0_60231311的博客
03-05 1282
随着像CLIP这样强大的预训练视觉语言模型的兴起，研究如何使这些模型适应下游数据集变得至关重要。最近提出的一种名为上下文优化(CoOp)的方法将提示学习(nlp的最新趋势)的概念引入视觉领域，以适应预训练的视觉语言模型。具体来说，CoOp将提示中的上下文单词转换为一组可学习的向量，并且仅使用少量标记的图像进行学习，可以实现比密集调整的手动提示的巨大改进。在我们的研究中发现了CoOp的一个关键问题:学习到的上下文不能推广到同一数据集中更广泛的未见类，这表明CoOp过拟合了训练期间观察到的基本类。
【微调视觉-语言模型】Learning to Prompt for Vision-Language Models
梁瑛平的博客
05-22 644
【微调视觉-语言模型】Learning to Prompt for Vision-Language Models代码地址：论文简介：动机和思路：具体实现：Vision-Language Pre-training：Context Optimization：Unified Context： 代码地址： https://github.com/KaiyangZhou/CoOp 论文简介： 像CLIP这样的大型预训练视觉-语言模型在学习表征方面显示出了巨大的潜力，并且可以将学习到的表征用于下游视觉任务。 在这项工作中
Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models
LuvLive的博客
05-21 143
Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models
Learning to Prompt for Vision-Language Models
qq_43775680的博客
04-04 6313
1.问题背景 识别正确的提示（识别精度尽可能高的提示），通常需要花费非常多的时间来进行单词的调 整，在单词中的一个轻微改变都可以使得在性能上有巨大的不同。但是可以发现即使是做了大量的调整，最后的精度可能不是最优的。 受到NLP领域中prompt learning研究的启发，本文提出了Context Optimization（CoOp）， 具体来说固定整个预训练模型的参数，然后对text encoder中的提示词进行学习，自动化提示工程。 对于一个新的类别分类任务来说，一个描述与任务相关的...
2021：VinVL: Revisiting Visual Representations in Vision-Language Models
weixin_42653320的博客
11-05 1224
摘要 本文详细研究了视觉语言（VL）任务的视觉表示的改进，并开发一种改进的对象检测模型，以提供图像的对象为中心的表示。与最广泛使用的bottom-up和top-down模型相比，新的模型更大，为VL任务设计的更好，在更大的训练语料库（结合多个公共注释的对象检测数据集）上预训练，因此，它可以生成更丰富的视觉对象和概念集合的表示。以前的VL研究主要关注改善视觉-语言融合模型，而不影响对象检测模型的改进，但我们发现在VL模型中视觉特征非常重要。在我们的实验中，我们将新的对象检测模型输入到一个基于...
ICLR 2022：预训练的大规模视觉和语言模型调优：How to Adapt Your Large-Scale Vision-and-Language Model
梁瑛平的博客
10-14 406
How to Adapt Your Large-Scale Vision-and-Language Model论文地址：主要工作：主要贡献：具体实现：实验结果： 论文地址： ICLR 2022：https://openreview.net/forum?id=EhwEUb2ynIa 主要工作： 预训练的大规模视觉和语言模型（例如CLIP）在表示和迁移学习方面显示出了良好的结果。作者研究了如何有效地使这些模型适应下游任务的问题。对于图像分类，linear probes 一直是易用性和效率的标准，而对于语言，已
Prompt Vision Transformer for Domain Generalization
LuvLive的博客
04-04 300
Prompt Vision Transformer for Domain Generalization
coop：Learning to Prompt for Vision-Language Models
Seaern的博客
03-04 4821
论文链接https://arxiv.org/pdf/2109.01134v1.pdf源码链接https://github.com/KaiyangZhou/CoOp 一、摘要 像CLIP这样的大型预训练视觉语言模型在学习表征方面显示出了巨大的潜力，这些表征可在广泛的下游任务中迁移。与传统的基于离散标签的表示学习不同，视觉语言的预训练将图像和文本对齐在一个共同的特征空间中，通过提示将零射转移到任何下游任务，即从描述感兴趣类的自然语言合成分类权值。在这项工作中,我们表明,部署的一个主要..
CV前沿方向：Visual Prompting 视觉提示工程下的范式
idol24的博客
07-28 967
prompt在视觉领域，也越来越重要，在图像生成，作为一种可控条件，增进交互和可控性，在多模态理解方面，指令prompt也使得任务灵活通用。视觉提示工程，已然成为CV一个前沿方向！下面来看看最新的两篇论文，了解一下视觉提示的应用！Visual Instruction Inversion: Image Editing via Visual Prompting文本条件的图像编辑已经成为一种强大的图像编...
SimVLM：拒绝各种花里胡哨！CMU&Google提出弱监督极简VLP模型，在多个多模态任务上性能SOTA...
我爱计算机视觉
09-02 646
关注公众号，发现CV技术之美本文介绍论文『SimVLM: Simple Visual Language Model Pretraining with Weak Supervision』，由...
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
最新发布
源泉的小广场
08-30 3265
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
coop和cocoop
08-27
- *2* *3* [CoCoOp: Conditional Prompt Learning for Vision-Language Models](https://blog.csdn.net/LuvLive/article/details/130601750)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630",...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值