Re26：读论文 Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

诸神缄默不语-个人CSDN博文目录

论文名称：Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
（不要停下来啊！）
论文ACL官方下载地址：https://aclanthology.org/2020.acl-main.740/（包含ACL官方讲解视频，本博文中非论文配图都来自此视频）
官方GitHub项目：allenai/dont-stop-pretraining: Code associated with the Don’t Stop Pretraining ACL 2020 paper

本文是2020年ACL论文，主要的发现是：在通用域预训练模型在专业领域上，如果再进一步进行预训练，效果会更好。（现在听起来挺常识的）
在特定域上再一次预训练：domain-adaptive pretraining DAPT
用指定任务（本文中是分类任务）的无标签数据（从task distribution中drawn）上再一次预训练：task-adaptive pretraining TAPT
在任务语料上使用简单的数据选择策略来进行数据增强是有效的，尤其在domain-adaptive预训练资源难以获取的情况下。
整体上，multiphase adaptive pretraining可以提供很大的任务效果提升。

1. Background & Motivation

本文想要证明：任务的textual domain仍然有效。
现存工作大多仅在一个领域、用多样性比预训练模型更弱的语料微调一次，而连续预训练的优势是否与可获得有标签任务数据、目标域和原始预训练语料域的相似性等元素有关，扔待探究。

本文主要研究RoBERTa在非预训练语料域上的分类任务表现在连续预训练之下的影响。

2. DAPT

2.1 数据集和实验

baseline：直接在每个分类任务上finetune

2.2 分析域相似性

在海量的域测试集文本上一万个最常见的unigram（去掉停用词）

DAPT在不相似域上潜力更大。

3. TAPT

跨域DAPT+TAPT灾难性遗忘问题（说明了通用预训练模型的不足，DAPT和TAPT的必要性）：

三阶段预训练：

4. TAPT训练集数据增强

1. 用human-curated corpus中抽取的大量无标签数据
2. 在没有human-curated corpus的任务下，检索无标签领域语料中的TAPT相关数据

VAMPIRE：轻量BOW语言模型

5. 参考文献

同一任务训练集和测试集分布的domain shift

其他细节略。

6. 代码复现

我觉得这个代码我复现不了……太金钱游戏了……