GPT3中的Prompt

1、语言模型（language model）:一个单词序列的概率分布。即想办法找到一个概率分布，可以表示任意一个句子或序列出现的概率。

2、Prompt: Prompting是指在文本上附加额外的提示（Prompt）信息作为输入，将下游的预测等任务转化为语言模型任务。

以二分类的情感分析为例，给定一个句子[CLS] I love this movie. [SEP]传统的Fine-tuning方法是将其通过Bert的Transformer获得[CLS]表征之后再喂入新增加的MLP分类器进行二分类，预测该句子是positive还是negative，因此需要一定量的训练数据来训练。

而对于Prompting范式分为三步：

1. 在句子上添加prompt。一般来说，prompt分为两种形式，分别是完型填空（用于BERT等自编码PLM）与前缀(用于GPT等自回归PLM)。即: 完型填空：I love this movie.It is a [MASK] movie. 前缀: I love this movie.The movie is.
2. 根据Prompt的形式，在[MASK]位置或Prompt前缀的后面预测单词。
3. 根据预先定义的Verbalizer将单词转化为预测结果，若预测单词’Good’则情感倾向为正向，若预测结果为单词’Bad’则情感倾向为负向。

参考链接：

一文了解Prompt的基本知识与经典工作 - 知乎

Prompt-Tuning——深度解读一种新的微调范式_华师数据学院·王嘉宁的博客-CSDN博客