Prompt

Prompt

提示学习和原先模型的对比

自从Transformer被提出、BERT发布以来，NLP领域形成了一个范式——“预训练-微调”。这个范式利用在哪些已经在大规模未标记数据上，通过自监督学习完成预训练的模型，让他们在下游任务上使用少量人工标记数据 进行微调。这个模型效率高，在小样本学习中十分有效。但是，也许是时机不够成熟或是预训练模型本身不够强大，预训练模型不得不**“献出自己的一部分”**（改动预训练模型自身的参数），去迁就下游任务，以此来达到目标。这样的形式会导致预测精度的下降。

Prompt方式在这里又开辟了一个新的范式，“预训练-提示-预测”。采用prompt方法的模型大部分都不会去改动预训练模型的参数。它们转而对下游任务下手，将下游任务的输入输出形式改造成适合预训练模型的样子。

Prompt解释

Prompt，也就是提示，按其字面理解，他就是伴随着输入一起，给予模型的一种上下文，它告诉、指导模型接下来你应当要做什么任务，是一个提示。或者换一种说法，就是前面说的它能够将下游任务改造成预训练模型期望的样子。

举一个例子

我们的预训练模型是GPT，BERT这样的模型。

我们的下游任务是句子的情感分类问题。

现在我拿到一句话“我喜欢这个电影”。

我要判断“我喜欢这个电影”这句话的情感（“正面”或者“负面”）

对于下游任务来说

我们的输入X：我喜欢这个电影

输出应该是：正面y+或者负面y-

使用prompt的方法去改造下游任务，让我们的预训练模型可以做这个任务，那我们可以将这句话变成一个完形填空。

在“我喜欢这个电影”这个输入后面加上一个模板：

”[X]整体上来看，这是一个[Z]的电影“

即”我喜欢这个电影，整体上来看，这是一个__的电影“

在这里面，[Z]是我们预训练模型要预测的内容，这样完形填空式的输入是预训练模型喜欢且擅长的输入形式。

之后，我们给出两个选项，让模型预测。

A:无聊的

B:有趣的

其中选项A就是无聊的对应的是负面情感，B有趣的对应的就是正面情感。

这样，一个下游情感分类任务改造成了预训练模型可处理的形态。

对于上面的例子，总体来讲，因为预训练的语言模型，在之前的训练当中很有可能看过类似的”我喜欢这个电影，它太有趣了“这种类似的话，所以会给选项中的A一个很高的概率，由此判断出，我喜欢这个电影，这是一个正面情感的句子。

上图可以明显的看到，模型在下游任务中的表现对于prompt的好会十分敏感，模型的效果波动非常大。一个合适的prompt提示，对于模型和下游任务的适配十分重要。

所以现阶段prompt方法在做的大部分事情就是

1. 设计一个合适的提示模板，来创造一个完形填空的题目。
2. 设计一个合适的填空答案，创造一个完形填空的选项。

如何提高提示学习的效果

• 使用清晰简洁的提示。提示应该提供足够的上下文和方向,而不要过于冗长或复杂。避免语意模糊或不明确的语言。

• 将提示个性化到自己的学习风格和需求。思考需要什么样的信息才能最有效地学习。

• 提出问题并提示进行阐述。提出后续问题以深入探讨并在需要时获得澄清或示例。

• 将新的提示与之前的知识联系起来。参回先前的提示和对话,以随时间建立理解。

• 变化提示风格。有时使用描述性提示,有时提出问题,有时提供假设场景或例子。

• 迭代无效的提示。如果提示返回不可用的结果,则重新措辞或重塑提示。

关键是进行互动式的对话,使用重点明确、构造良好的提示。提示不是一种被动过程,而是需要主动指导和塑造学习方向。通过练习,你可以学习更准确的提示,以最大化理解。