预训练新范式提示学习（Prompt-tuning，Prefix-tuning，P-tuning，PPT，SPoT）

「Prompt Tuning也许会是深度学习时代的Feature Engineering问题，如何给各大任务设计合理的Prompts将会是很有意思的科学问题」–刘知远

虽然博主以前也看到了基于 Prompt-tuning 可以让GPT-3处理各种类型的任务，甚至拥有直接处理零样本和小样本学习能力。也整理过GPT，OpenAI CLIP，DALL-E 这些文章。但但但，没想到这个领域冲的好快，新范式、综述和应用都层出不穷，并且看到小伙伴的应用实验效果奇佳。便想重新整理一些文章，再重新认识一下Prompt-tuning！

GPT-3（Language Models are Few shot Learners)
众所周知GPT-3的优势在于它超级大大大大 ，可以针对特定任务来进行微调，即核心理念为：将所有自然语言处理的任务转换为语言模型任务。

所有任务都可以被统一建模，任务描述与任务输入视为语言模型的历史上下文，而输出则为语言模型需要预测的未来信息。即转变问题为根据文本的走向来 " 搞清楚 " 它们应该做什么事情，通过给模型一些提示（prompt），来让它根据任务直接学习。这种方法也被称为情境学习（in-context learning）或提示（prompting）。

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
然后直接来看大佬关于Prompt的综述。NLP技术的发展可分为4个阶段/范式，如下图。

• 全监督学习（非神经网络）。仅在目标任务的输入输出样本数据集上训练特定任务模型，其严重依赖特征工程。
• 全监督学习（神经网络）。使得特征学习与模型训练相结合，于是研究重点转向了架构工程，即通过设计一个网络架构（如CNN，RNN，Transformer）能够学习数据特征。
• Pre-train，Fine-tune。先在大数据集上预训练，再根据特定任务对模型进行微调，以适应于不同的下游任务。在这种范式下，研究重点转向了目标工程，设计在预训练和微调阶段使用的训练目标（损失函数）。
• Pre-train，Prompt，Predict。无需要fine-tune，让预训练模型直接适应下游任务。方便省事，不需要每个任务每套参数，突破数据约束。

具体“Prompt”的做法是，将人为的规则给到预训练模型，使模型可以更好地理解人的指令的一项技术，以便更好地利用预训练模型。例如，在文本情感分类任务中，输入为"I love this movie."，希望输出的是"positive/negative"中的一个标签。那么可以设置一个Prompt，形如：“The movie is ___”，然后让模型用来表示情感状态的答案（label），如positive/negative，甚至更细粒度一些的“fantastic”、“boring”等，将空补全作为输出。

Fine-tune和Prompt的区别？
prompting 更加依赖先验，而 fine-tuning 更加依赖后验。

• Fine-tuning中：是预训练语言模型“迁就“各种下游任务。具体体现就是通过引入各种辅助任务loss，将其添加到预训练模型中，然后继续pre-training，以便让其更加适配下游任务，这个过程中，预训练语言模型做出了更多的牺牲。
• Prompting中，是各种下游任务“迁就“预训练语言模型。具体体现也是上面介绍的，我们需要对不同任务进行重构，使得它达到适配预训练语言模型的效果，这个过程中，是下游任务做出了更多的牺牲。

这种方法的优点是给定一组合适的 prompt，以完全无监督的方式训练的单个 LM 就能够用于解决大量任务。然而该方法也存在一个问题——这种方法引入了 prompt 挖掘工程的必要性，即需要找出最合适的 prompt 来让 LM 解决面临的任务，即怎么做Prompt Engineering。

Fine-tune和Prompt的性能？
Prompt当然参数量要小很多啦。如下图是对于T5的两者对比图。

• Fine-tune需要为每个下游任务都存下整个预训练模型的副本，并且推理必须在单独的批次中执行。
• Prompt只需要为每个任务存储一个特定于下游任务的小单元，并使用原始的预先训练过的模型启用混合任务推理即可。

Fine-tu