对NLP Prompt范式的浅显理解

从预训练-微调(Pre-train Fine-tune)范式说起

预训练-微调范式就是预训练好一个初始模型，后续根据具体的下游任务来对初始模型进行微调。

预训练-微调范式存在的问题是:
①预训练模型有可能会过拟合；

②如果微调数据不足，微调的效果就不好；

③微调后的模型有可能连用来预训练任务都无法执行。

预训练-微调范式预训练出来的模型需要去迎合下游任务，i.e. 要根据具体的下游任务微调模型参数，如②所说，如果微调数据不足，那微调就达不到理想的效果。

Prompt范式就登场了，与预训练-微调范式相反，在Prompt范式中，是要让下游任务去迎合预训练模型。

那么什么是Prompt范式？Prompt范式是如何做到让下游任务迎合预训练模型的？

一、什么是Prompt范式？

prompt英文原意为 提示

prompt直观理解：

在NLP领域中：

给输入的文本加上一些额外的文字，从而更好地让预训练模型发挥作用。

那么这些额外的文字是怎么加的？作用又是什么呢？

通过Prompt的工作流程来理解，走完一遍这个工作流程基本上就能理解Prompt了。

以一个情感分析任务为例

这个任务的输入是一个句子x，输出对这个句子的判断是positive标签还是negative标签

取x = I love this movie.

第一步，Prompt Construction(prompt构建)

定义一个有两个槽(输入槽[x]和输出槽[z])的模板，模板是一段文字。

提醒一下，Prompt中模板的定义又是另外一个不小的工作了，这里我们假定已经定义好了一个模板

这个模板是：[x]Overall, it was a [z] movie.

将x代入到模板中得到x'

x' = I love this movie. Overall, it was a [z] movie.

第二步，Answer Construction(答案构建)

构建答案和类别标签的对应关系

这里也要提醒一下，Prompt中答案-标签对应关系的构建也是另外一个不小的工作，所以这里我们也假定已经定义好了一组答案-标签对应关系

positive - great

negative – boring

到这里先暂停说一下，为了区分，将第一步和第二步的模板和答案称为prompt，区别于大写的Prompt，大写的Prompt指Prompt范式

第三步，Answer Prediction(答案预测)

根据具体的下游任务人工来选择一个预训练好的语言模型，e.g. BERT

使用这个语言模型来预测答案[z]，假设预测得到的答案[z]是great，那么

x' = I love this movie. Overall, it was a great movie.

第四步，Anser-Label Mapping(答案-标签映射)

将答案great映射到标签positive

然后输出positive.

结束

二、Prompt范式是如何做到让下游任务迎合预训练模型的？

我认为就是靠prompt来做到的，也就是模板和答案

所以Prompt范式的关键就是模板和答案的设计，而这两个都不是什么简单的工作，各自都分别是另外一项工作

模板的设计叫做Template Engineering，如何根据特定的下游任务来设计这个模板

 

答案的设计叫做Answer Engineering，如何根据特定的下游任务来设计答案和标签的对应

下图展示了一些例子，不同的下游任务可能的模板和可能的答案

求各位大佬轻喷，我只是个还未入门的初学者，这篇文章的定位也只是作为我的个人学习笔记

References

[1] 大模型Prompt Tuning技术分享_哔哩哔哩_bilibili

[2] Making Pre-trained Language Models Better Few-shot Learners.https://arxiv.org/pdf/2012.15723.pdf

[3] Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing.https://arxiv.org/pdf/2107.13586.pdf

[4] Formal Description of Prompting: Systematic Survey of Prompting Methods in NLP (P.1).https://www.youtube.com/watch?v=K3MasIU25Zw