【prompt learning提示学习】

---

一、什么是提示学习？

提示学习是指对输入文本信息按照特定模板进行转换，把任务重构成一个更能充分利用预训练语言模型处理的形式

---

二、为什么会出现prompt learning？/prompt learning出现的灵感？

1. 在预训练和微调时，不同阶段的优化目标不一致，在预训练语言模型去适配任务的过程中，会给模型的性能带来损失；
2. 预训练语言模型的体量越来越大、训练越来越繁琐，导致很多时候无法对所使用的预训练语言模型进行“微调”。

因此，预训练模型存在适配下游任务造成性能损失与较难“微调”的问题，需要探索出一种更小巧轻量、更普适高效的方法。

---

三、prompt learning的优势

（1）“提示学习”将预训练和微调的优化目标进行统一，激发预训练语言模型的潜力，提升了任务的性能。
（2）提 示 学 习 拓 展 了 预 训 练 语 言 模 型 的 适 用 性 ，并 且 打 破 了 不 同 任 务 之间统一建模的困难

---

四、prompt learning的步骤

1. 模版构建【提示工程】
2. 答案搜索
3. 标签词映射【答案工程】

提示工程

首先要考虑提示的模式 ，然后再考虑采用人工或者自动化的方式创建所需模式的提示：

• 提示的模版：
  （1）完形填空式提示：用于填充文本字符串中的空白部分
  （2）前缀提示：

1. 在输入文本前添加一组可训练的向量作为提示，训练时固定预训练语言模型中的其余参数，对这些向量进行优化

2. 在特定字符串周围使用一些特殊的标记来进行标注作为提示

• 提示工程：
  （1）人工构建模板
  （2）自动构建提示模板：

1. 离散提示：让计算机自行搜索添加文本字符串
2. 连续提示：由连续向量构成
   连续型prompts去掉了两个约束条件：
   （1）、模板中词语的embedding可以是整个自然语言的emnbedding，不再只是有限的一些embedding.
   （2）、模板的参数不再直接取PLM的参数，而是有自己独立的参数，可以通过下游任务的训练数据进行调整。
3. 人工设计和自动生成相结合的混合提示：采取在人工设计的提示中插入一些可训练的向量

• 答案工程：
  答案工程旨在设计合适映射，即从预训练语言模型输出到答案空间中所对应标签词的过程

答案的模式有标记(Token)、跨 度(Span)、句子(Sentence)这三种。

答案模式设计方法：
（1）手动设计：人为定义映射函数
（2）离散答案搜索：
1.扩充原答案空间：使用回译的方法，将答案翻译成另一种语言，然后返回生成多个释义答案的列表
2.先剪枝再进行搜索 ：先利用模型生成可能的答案，组成初始答案空间，即 对所有答案的搜索空间进行剪枝，然后再使用一个具体的算法在这个剪枝后的空间内进一步搜索以选择最终答案
3.标签分解：将标签分解为组成的词，并将这些词作为答案
（3）连续答案搜索

---

五、多提示学习

多提示学习是指在模板构建的过程中使用多个提示，这能进一步增强提示学习的效果。
常用的多提示学习有提示融合、提示增强、提示合成、提示分解

提示融合

在预测时使用多个未回答的提示作 为输入，最终使用 均 值、加 权 平 均、投票等多种方案 得 到 输 出 。 这种提示融合的方式可以很好利用不同 提示之间的互补优 势，降低搜索出表现最好提示的 成 本 ，避免不同提示的差异对模型表现产生的影响， 稳定下游任务的性能。

提示增强

通过为语言模型提供带有答案的示例作为提示，相当于一种数据增强，在一定程度上能解决小样本问题

提示合成

在处理一些可以分解成更基础的子任务时 ，使用多个子提示 ，每个子提示对应一个子任务 ，然后将这些子提示组合为一个完整的提示

提示分解

将完整的提示分解为不同的子提示，然后分别对每个子提示进行预测

参考

1.提示学习Prompt介绍
2.与知识相结合的提示学习研究综述 鲍琛龙，吕明阳，唐晋韬，李莎莎，王 挺