1 简介
本文根据2021年《It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners》翻译总结的。
GPT-3有1750亿的参数,它拥有惊人的小样本学习(few-shot)能力。
而本文主要讲另一种方式,pattern-exploiting training (PET),模式开发训练。是将文本输入转化成完形填空(cloze)问题。所需参数很少。
同时本文提出了PET的一个简单有效的修改版,支持预测多个token。
2 Pattern-Exploiting Training
PVP(pattern-verbalizer pairs),如上图:
3 PET with Multiple Masks
PET引入多个token,如下图a,计算两个概率q并取概率较高的(如下图ble),接着将ble带入下图b,继续计算剩下token的概率。
4 实验结果
可以看到PET参数较少,但取得了和GPT-3不相上下的结果。