面向文本分类任务的预训练模型 Fine-tuning 研究与应用【t5 & prefix-finetune & text-classification】代码在文末。
微调实际上是利用大型预训练的语言模型(LMs)来执行下游任务的方法。但是,它会修改所有的语言模型参数,因此需要为每个任务存储完整的副本。在本文中,我使用了Prefix-Tuning在T5模型上对文本分类任务进行微调,这是对LMs进行全参数微调的一种轻量级替代方案,它保持LMs参数不变,但优化了一个小型的连续任务特定向量(称为前缀)。首先本文对预训练模型Fine-tuning和文本分类任务进行了一个简要的介绍。其次分别给出了预训练模型Fine-tuning和文本分类任务相关工作回顾及分析。
复制链接