《Visual Prompting: Modifying Pixel Space to Adapt Pre-trained Models》论文阅读笔记

最新推荐文章于 2024-01-30 09:00:00 发布

置顶 Gardien2

最新推荐文章于 2024-01-30 09:00:00 发布

阅读量1.8k

点赞数 7

分类专栏： Paper Reading 文章标签：计算机视觉神经网络迁移学习

本文链接：https://blog.csdn.net/qq_44761397/article/details/123976802

版权

Paper Reading 专栏收录该内容

1 篇文章 1 订阅

订阅专栏

文章目录

前言

《Visual Prompting: Modifying Pixel Space to Adapt Pre-trained Models》是3月22号放在arxiv上的一篇关于visual prompting的文章，文章的主要目的是证明了prompting在CV中的可行性，为未来CV领域使用预训练模型提供了新的角度。以下纯属个人理解，望指正

始于NLP

灵感: 正如随着attention机制和transformer在NLP成为主流，attention+CNN、Vit、Swin-transformer、ShiftVit等基于attention和transformer的CV模型不断涌出一样；在看到prompting在NLP变得越来越火时，作者自然问道：Why not visual prompting?
Prompt in NLP: Prompt目前在NLP领域有很多工作，在《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》这篇survey里面，作者大佬系统地介绍了NLP的发展历程（如下图）从依赖特征工程的传统机器学习，到大量依赖数据集的深度学习，再到基于预训练模型的Fine-tune类型算法，再到现在的基于预训练模型的Prompt类型算法。作者在文章中系统地介绍了Formulation、Pre-trained models、Prompt engineering、Answer Engineering 等相关问题，写得非常的简介明了，推荐感兴趣的去阅读一下。
NLP中的Prompt： 那么，prompt到底是什么呢？简单来讲，就是对原来的输入文本进行一定的处理，使得在不改变预训练模型参数的情况下，相应任务的performance变高。例如，原输入文本为：I received the offer from ETH. ，对于文本分类，我们将其修改为I received the offer form ETH, I’m so [MASK]；[MASK]可以为一些表示情绪的词，比如happy，那么相对于原文，修改后的句子更容易被分为happy类。如果将其改为I received the offer from ETH. Chinese:[MASK]，则对于翻译任务来讲，更容易取得正确的翻译效果。所谓的修改方式在大佬论文中提到的有（如下图）
NLP中的Prompt算法步骤：
- Prompt Addition： 这一步就是如何修改原文本。
- Answer Search： 构建相应的answer空间，例如，文本分类，设置为（happy， good， terrible等）。
- Answer Mapping： 在某些时候answer并不是我们最终想要的结果，比如我们最终想要的结果为positive和negative；那么则需要将happy,good映射为positive，将terrible映射为negative。

Visual Prompting

Why Visual Prompting: 在前言中提到过，作者文章的目的是证明在CV领域，Prompt是可行的，并且在某些任务和数据集上效果是不错的。
使用（迁移）预训练模型的方法： 在CV中，将一个预训练模型迁移到新任务上的方法主要包括Fine-tuning，Linear Probe，Visual Prompting ；三种方法的不同如下图 Fine-tuning会修改预训练模型参数，Linear Probe不会修改预训练模型参数，但是会在预训练模型后增加和任务相关的线性层，Visual Prompting则是不修改预训练模型参数，只修改原图像。

Methods

Prompt形式： 对于图片，给原图增加prompt，自然想到的是添加一些像素；其实以像素形式添加prompt的好处就是可以做到task-special和input-agnostic；也就是因为prompt中含有大量数据中学到的信息，所以是任务相关的；因为对于同一个任务，在测试时，直接使用得到的prompt就可以，不管你输入哪张图片，因此时输入无关的。
如何添加： 作者提到了三种方式：1）在随机位置添加像素块(pixel patch)；2）在固定位置添加像素块(pixel patch)；3）在图像内部边缘pad一些像素（类似卷积中的padding）第三种方式效果最好
Padding： 使用pad方式添加，添加的宽度为 $p$ ；图像的尺寸为 $C, H, W$ ；则一共需要添加 $2 * C * p * (H - p) + 2 * C * p * (W - p)$ ，如图
如何得来： 对于一个任务，需要通过训练得到于该任务相关的prompt，得到之后就可以直接应用了。