【论文笔记】Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

原文作者：Suchin Gururangan，Ana Marasović，Swabha Swayamdipta，Kyle Lo，Iz Beltagy，Doug Downey，Noah A. Smith

原文标题：Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

原文来源：ACL2020

原文链接：https://www.aclweb.org/anthology/2020.acl-main.740.pdf

Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

作者针对预训练模型是否仍然有助于特定领域的任务进行了研究，跨4个领域，8个分类任务，发现第二阶段的领域自适应预训练((domain-adaptive pretraining)仍然能够提高性能。另外，在DAPT之后，再进行TAPT(task-adaptive pretraining)也能够提高成绩。

DAPT

作者选择了四个领域的文本进行DAPT，分别是生物医学和计算机科学出版物、新闻、评论。原因是领域内的文本分类数据集可用，而且在之前的工作中也很常见。表1中列出了这四个数据集的信息。

作者首先进行了这四个领域与ROBERTA预训练领域相似性的分析。图二中为作者采样的文本数据的重叠情况。发现ROBERTA预训练的数据与NEWS和REVIEWS重叠很高，但是和CS、BIOMED相似度比较低。这表明领域的差异越大，DAPT的潜力就越大。

在实验中，作者采用了和ROBERTA一样的设置，选择ROBERTA-base作为baseline，并在四个领域的八个文本分类任务上进行试验，如表2所示。