Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

Abstract

一些 NLP 任务能够通过给预训练模型提供任务描述（“task descriptions” ）来实现无监督预测(如 GPT-2)。不过在很多任务上，无监督学习的效果尚未超过对应的有监督任务。

本文提出可以将有监督和无监督结合起来，提出了 Pattern-Exploiting Training (PET).
PET 是一种半监督的训练过程，它将输入样本重新表述为完型填空式的短语来帮助语言模型理解给定的任务。

然后这些短语被用于对大量的无标签样本 assign soft labels. 最后，在结果集上进行标准的有监督训练。对若干任务和语言，PET 的性能在低资源场景下 显著超过了有监督的训练和 strong 的半监督方法。

Introduction

对很多 NLP 任务，从样本中学习是主流的方法。由于现实中标准样本的稀缺，few-shot learning 逐渐成为一个重要的研究领域。

不幸的是，在小型训练集上应用标准的有监督学习通常效果很差。仅通过少数样本，很多问题很难学习。例如，假设我们有如下样本：

• T1: This was the best pizza I’ve ever had.
• T2: You can get better sushi for half the price.
• T3: Pizza was av