NLP论文解读：无需模板且高效的语言微调模型（上）

©原创作者 | 苏菲

论文题目：

Prompt-free and Efficient Language Model Fine-Tuning

论文作者：

Rabeeh Karimi Mahabadi

论文地址：

https://openreview.net/pdf?id=6o5ZEtqP2g

提示学习（Prompt-learning）被誉为自然语言处理的“第 4 种范式”，它可以在少样本甚至零样本的条件下，通过将下游任务修改为语言生成任务来获得相对较好的模型。

但是，传统的提示学习需要针对下游任务手工设计模板，而且采用自回归的训练预测方法非常耗时。本文提出的PERFECT方法，无需手工设计特定模板，大大降低内存和存储消耗（分别降低了5个百分点和100个百分点）。

在12个NLP任务中，这种微调方法（PERFECT）在简单高效的同时，取得了与SOTA方法（如PET提示学习模型）相近甚至更高的结果。

论文的创新之处在于：

（1）使用特定任务适配器替代手工制作任务提示，提高了微调的采样效率且降低内存及存储消耗；

（2）使用不依赖于模型词汇集的多标记标签向量学习，替代手工编制的语言生成器，可以避免复杂的自回归解码过程。

01 背景介绍

论文作者首先介绍了少样本语言模型微