qq_40240364的博客

原创 【NLP】【Prompt Tuning】PET （Pattern-Exploiting Training）方法介绍

随着GPT3的出现，通过一些具有自然语言“任务描述”的预训练语言模型，可以以完全无监督的方式解决一些NLP任务。PET是一种半监督的训练方式，它首先将转化为的形式以帮助模型理解给出的任务，之后利用这些phrases为一个更大的未标注的数据集分配，最后在该数据集上执行有监督训练。PET是一种半监督式训练程序，将任务描述与标准的监督学习相结合它使用自然语言pattern将转化为。针对每种pattern，在一个小的训练集TT上对一个单独的PLM进行微调。使用所有PLM模型的集合为一个大的未标注数据集DD。