用少样本finetune

How Many Data Points is a Prompt Worth?
将与当前任务相关的提示信息（prompt）引入模型。
论文证明这个< MASK >方法比模型加一个线性层做分类任务性能好。
这个方法比传统任务（例如：加一个线性层做分类任务）用的样本少，为几分之一。
针对任务的不同，只需用到几百到几千的样本。

这篇文章还关注了文本蕴含、多选阅读理解、指代销歧等共六个任务。
(1)判断题的阅读理解任务

(2)文本蕴含任务，可以将前提 (premise, p) 与假设 (hyphothesis, h) 通过提示信息整合

(3)对于指代销歧任务，可以将句子S 、带标记的介词p 与名词 n通过提示信息整合

(4)其他任务类似，见论文。

实验结果：

1. 模型通过预测 < MASK > 属于描述集合中的哪种，以此完成任务。如果将这里改为不带语义的单纯的分类，性能也会有所下降。
2. 作者为每个任务都提供了多种整合提示信息的方式，但是发现，不同方式的区别对性能影响甚微。

---

更少的少样本应该怎么做？

表中列举了四种情况：

• Data-Rich Supervised 表示传统有大量数据的有监督学习。
• Multi-Distribution Few-Shot 表示原始的小样本学习情景，即在大量 n-way k-shot 上进行训练。由于每个 task 都包含不同的数据分布，因此这相当于在不同的分布中训练，在新的分布中使用模型。
• Tuned Few-Shot 表示从 GPT3 开始的，用 prompt 的方式对预训练模型微调。

True Few-Shot 就是本文提出的啦！
本文认为，对于小样本学习，既不应该有其它分布的数据辅助、也不应该有很多训练数据，更不应该有很多验证集的数据。因为这些数据全都是需要标注的！

博客：恕我直言，很多小样本学习的工作就是不切实际的
论文：True Few-Shot Learning with Language Models