论文阅读-Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitiv

目的

研究基于Prompt的小样本学习中，训练样本顺序对训练效果的影响。

顺序敏感度和Prompt设计

1. 样本顺序影响模型效果，模型越小该问题越严重。但是对于基于监督fine-tune的方法，不同的初始化对结果影响不超过1%。

2. 增加训练样本不能使问题好转；

3. 好的prompt不具备通用性。

4. 好的label顺序（NNPP,NPNP,NPPN,PNNP,PNPN,PPNN,P表示正样本，N表示负样本）在不同模型间表现也不一致；

5. 对输出分布进行标准化可以提升结果但是仍然不能解决问题。

方法

如何自动生成“probing set”并给出prompt最佳顺序呢，分为三步：

1.  对于任一组训练样本，枚举所有顺序组合作为候选
2. 将所有候选prompt作为context，输入LM得到probing set
3. 利用一种方法对probing set进行排序，得到最佳顺序

 

3.1 构建probing set

训练集S={(xi,yi)},i=1,...,n, 每一个训练样本是（句子，标签），定义模板为input:xi,type:yi，这样可以把每一个样本转成标准格式的句子，组成的集合为S'。

定义n个样本的全排列函数组合F={fm}，m=1,..,n!，每一个函数fm以S'做为输入，cm为输出，见下图最后一列