原文作者:Suchin Gururangan,Ana Marasović,Swabha Swayamdipta,Kyle Lo,Iz Beltagy,Doug Downey,Noah A. Smith
原文标题:Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
原文来源:ACL2020
原文链接:https://www.aclweb.org/anthology/2020.acl-main.740.pdf
Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
作者针对预训练模型是否仍然有助于特定领域的任务进行了研究,跨4个领域,8个分类任务,发现第二阶段的领域自适应预训练((domain-adaptive pretraining)仍然能够提高性能。另外,在DAPT之后,再进行TAPT(task-adaptive pretraining)也能够提高成绩。
DAPT
作者选择了四个领域的文本进行DAPT,分别是生物医学和计算机科学出版物、新闻、评论。原因是领域内的文本分类数据集可用,而且在之前的工作中也很常见。表1中列出了这四个数据集的信息。
作者首先进行了这四个领域与ROBERTA预训练领域相似性的分析。图二中为作者采样的