Improving and Simplifying Pattern Exploiting Training

这篇文章是对PET的改进。下图是蕴含任务的举例。

左边是PET的过程，是预测MASK位置的token，然后经过softmax得到 logits，再用label_word处的logit计算BCE Loss。
右边是文章提出的模型，它不预测label_word，而是把label_word加入到输入中，随机MASK掉其他的token，来预测MASK掉的token。以图中举例，当正确的标签NO加入到输入中时，模型应该预测出Oil与full（即与1计算BCE Loss），当错误的标签Yes加入到输入中，模型不应该预测出Oil与full（与0计算BCE Loss）。

需要指出的是，这个方法和PET，预训练模型的参数是需要调节的，不是调节prompt的参数。可以认为是利用prompt来调预训练模型的参数（在PET方法中可见）。