超级会员免费看
在真实的场景中，当标记数据稀缺时，文本分类任务通常存在冷启动的现象（也就是标记文本数量太少时很容易过拟合）。本文提出了一种方法来提高这类模型的性能，即在预处理阶段和微调阶段之间增加一个中间的无监督分类任务。作为中间任务，进行聚类，并训练预训练模型预测聚类标签。本文在各种数据集上测试了这个假设，结果表明，当可用于微调的标记实例数量只有几十到几百个时，这个额外的分类阶段可以显著提高性能，主要是针对主题分类任务。
之所以可以这样做，因为合理的中间任务有望为最后的微调阶段提供一个更好的起点，在目标任务可用的稀缺标记数据上执行，旨在最终提高性能。尽管这两个任务并不是相关联的，但是在对域内数据底层语义的学习上还是大有裨益的。
而本文采纳的无监督方法也是最为简单的一种：以BOW学习的文本表示，将未标记的训练数据划分为与文本实例的相对同构簇。接下来，将这些聚类作为中间文本分类任务的标记数据，并在最终对实际目标任务标签进行微调之前，针对这个多类问题，对预训练模型进行带有或不带有额外的MLM预训练。鉴于MLM任务以及聚类、微调三种任务可以任意组合，本文所提出的总体结构图如下：
在标记数据稀缺的文本分类任务中，研究发现通过在预处理和微调间加入无监督的聚类中间任务能显著提升性能。通过K-means和sIB聚类方法，对预训练模型进行多类任务训练，然后再微调，结果显示在少量样本下这种方法尤其有效。聚类质量与任务相关性的量化分析证实了聚类在指导目标分类上的作用。
订阅专栏 解锁全文
扫一扫
1093
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
