Visual Prompt

已于 2024-03-11 21:53:50 修改
阅读量2k 收藏 10
点赞数 4
分类专栏： 读论文 文章标签： 深度学习 人工智能 自然语言处理
于 2023-04-03 11:04:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/129924446
版权
本文探讨了视觉提示（Visual Prompt）在适应大规模模型中的作用，提出VPT（Visual Prompt Tuning）方法，它在不改变预训练模型参数的情况下，只需更新特定任务的提示和线性头参数，减少了计算量。实验表明，VPT在24个视觉识别任务中有20个任务上优于全面微调。此外，文章还探索了在计算机视觉中使用视觉提示的可能性，以证实其在某些任务和数据集上的有效性。
摘要由CSDN通过智能技术生成

始于NLP

简单来讲，Prompt就是对原来的输入文本进行一定的处理，使得在不改变预训练模型参数的情况下，相应任务的性能变高。例如，原输入文本为：I received the offer from ETH. ，对于文本分类，我们将其修改为I received the offer form ETH, I’m so [MASK]；[MASK]可以为一些表示情绪的词，比如happy，那么相对于原文，修改后的句子更容易被分为happy类。如果将其改为I received the offer from ETH. Chinese:[MASK]，则对于翻译任务来讲，更容易取得正确的翻译效果。所谓的修改方式在大佬论文中提到的有（如下图）：

NLP中的Prompt算法步骤：

Prompt Addition

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型迁移 2022】Exploring Visual Prompts for Adapting Large-Scale Models
梁瑛平的博客
09-26 1463
本文研究了视觉提示（visual prompting）对适应大规模视觉模型的有效性。根据最近的提示调优（prompt tuning）和敌对抗重编程（adversarial reprogramming）方法，本文提出学习一个单一的图像扰动，然后由这个扰动提示的冻结模型执行一个新的任务。通过全面的实验，本文证明了 visual prompting 对 CLIP 特别有效，并且对分布转移具有鲁棒性，实现了与标准线性探头竞争的性能。本文进一步分析了下游数据集的特性、及时设计和输出转换的适应性性能。
Painter：使用视觉提示visual prompt来引导网络推理超精简代码
10-27
Painter：使用视觉提示visual prompt来引导网络推理超精简代码 1. Painter，使用视觉提示来指导网络进行对应的任务，只需要提供输入和输出对来告诉网络任务类型，网络就会根据提示输出预期的目标 2. 原来的代码非常复杂，对于初学者难以快速尝鲜使用 3. 我对其代码进行了大量的简化，只需要修改四个路径就可以快速尝鲜 4. 同时提供了README文件来告知具体的修改方法
Visual Prompt Tuning 笔记
小鬼漫步的博客
08-05 882
Prompt在纯CV中的应用
Exploring Visual Prompts for Adapting Large-Scale Models
qq_46563097的博客
04-20 2486
我们研究了视觉提示（visual prompting）对大规模视觉模型的适应性。根据最近的从prompt tuning和adversarial reprogramming(对抗性重编程)的方法，我们学习了一个单一的图像扰动，这样一个被该扰动提示的冻结模型执行一个新的任务。通过综合实验，我们证明了视觉提示对CLIP尤其有效，并且对分布迁移具有鲁棒性，达到了与标准线性探测方法（Linear probes）相竞争的性能。我们进一步分析了下游数据集、提示设计和输出转换的特性，以适应性能。
【ECCV 2022】Visual Prompt Tuning
梁瑛平的博客
09-27 1631
目前采用预训练模型的方法包括更新所有的主干参数，即完全微调。本文则介绍了视觉提示调优（VPT）作为一种有效的大型 Transformer 模型的替代方案。VPT 从有效调优大型语言模型的最新进展中获得灵感，在输入空间中只引入了少量（少于模型参数的1%）的可训练参数，同时保持模型主干冻结。对各种下游识别任务的广泛实验表明，与其他参数高效的调优协议相比，VPT获得了显著的性能提高。最重要的是，在许多情况下，VPT在跨模型容量和训练数据规模的情况下甚至优于完全微调，同时降低了每个任务的存储成本。
Visual Prompt Multi-Modal Tracking阅读笔记
weixin_45276786的博客
05-02 1421
可见模态对象跟踪产生了一系列下游多模态跟踪支流。为了继承基础模型的强大表示，多模态跟踪的自然操作方法是对基于 RGB 的参数进行全面微调。尽管有效，但由于下游数据稀缺和可迁移性差等原因，这种方式并不是最优的。在本文中，受最近语言模型提示学习成功的启发，我们开发了视觉提示多模态跟踪（ViPT）， 它学习模态相关的提示，使冻结的预训练基础模型适应各种下游多模态跟踪任务。ViPT 找到了一种更好的方法来激发大规模预训练的基于 RGB 的模型的知识，同时只引入一些可训练的参数（不到模型参数的 1%）。
Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation
LuvLive的博客
03-28 755
Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation
《Visual Prompting: Modifying Pixel Space to Adapt Pre-trained Models》论文阅读笔记
Pieux的博客
04-07 2083
文章目录背景方法优点 背景 方法 优点
Visual Prompt Tuning
qq_46563097的博客
05-16 3739
目前适应预训练模型的操作方法涉及更新所有backbone参数，即fine-tuning。本文介绍了视觉提示调优(Visual Prompt Tuning, VPT)作为一种高效的、有效的替代方案，用于大规模Transformer模型的视觉微调。VPT从最近高效调优大型语言模型的进展中获得灵感，在输入空间中只引入少量(不到模型参数的1%)可训练参数，同时保持模型主干冻结。通过对各种下游识别任务的广泛实验，我们表明，与其他参数高效调优协议相比，VPT实现了显著的性能提升。
探索视觉提示：Visual Prompting 开源项目解析与应用
gitblog_00050的博客
05-28 365
探索视觉提示：Visual Prompting 开源项目解析与应用 visual_prompting项目地址:https://gitcode.com/gh_mirrors/vis/visual_prompting 在这个数字化的时代，深度学习模型在图像识别和理解领域取得了显著的进步。其中，CLIP（ Contrastive Language-Image Pretraining）等大规模预训练模型...
通过图像修复的视觉提示
qq_45331246的博客
09-20 2630
计算机视觉、图像修复、提示学习
Visual Prompt Tuning (VPT)
wandererXX的博客
11-16 2738
VPT阅读笔记
CV前沿方向：Visual Prompting 视觉提示工程下的范式
idol24的博客
07-28 1050
prompt在视觉领域，也越来越重要，在图像生成，作为一种可控条件，增进交互和可控性，在多模态理解方面，指令prompt也使得任务灵活通用。视觉提示工程，已然成为CV一个前沿方向！下面来看看最新的两篇论文，了解一下视觉提示的应用！Visual Instruction Inversion: Image Editing via Visual Prompting文本条件的图像编辑已经成为一种强大的图像编...
Visual Prompt Tuning笔记
m0_46261292的博客
04-15 470
对于大多数识别任务来说，大多数的精确结果是来自基础模型在全新数据上训练的结果，但将大型模型应用在下游任务本身就是一个需要解决的问题。现有的策略是用full fine-tuning预训练，这种方式需要为每个任务存储部署大量骨干参数，非常耗费资源。而Transformer恰好参数远大于卷积神经网络，更浪费。作者的方法只在输入空间中引入少量特定于任务的可学习参数，同时在下游训练期间冻结整个预训练的Transformer骨干，结果对24种下游识别任务都有不错的表现。
Visual Studio Code配置Anaconda Prompt
最新发布
06-05
好的，配置Visual Studio Code使用Anaconda Prompt可以按照以下步骤进行： 1. 安装Anaconda 如果您还没有安装Anaconda，请先在官网下载并安装。 2. 安装Visual Studio Code 如果您还没有安装Visual Studio Code，请在官网下载并安装。 3. 打开Visual Studio Code 在Visual Studio Code中按下“Ctrl + Shift + X”或点击左侧菜单栏的“Extensions”按钮打开扩展管理器。 4. 安装Python插件 在搜索框中搜索“Python”插件，找到Microsoft官方的Python插件并安装。 5. 配置Anaconda Prompt路径 按下“Ctrl + Shift + P”打开命令面板，输入“Python: Select Interpreter”并选择Anaconda Prompt的解释器路径。如果您不知道Anaconda Prompt的解释器路径，可以打开Anaconda Prompt并输入以下命令来查看： ``` where python ``` 6. 重启Visual Studio Code 完成以上步骤后，您可以重启Visual Studio Code并开始使用Anaconda Prompt。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值