AMiner推荐论文：NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework

论文链接：https://www.aminer.cn/pub/6189e6d05244ab9dcb76e71a?f=cs
预训练语言模型因其强大的性能被广泛关注，基于预训练 - 微调（pretraining-finetuning）的范式也已经成为许多 NLP 任务的标准方法。然而，当前通用语言模型的预训练成本极其高昂，这使得只有少数资源充足的研究机构或者组织能够对其展开探索。这种 「昂贵而集权」的研究模式限制了平民研究者们为 NLP 社区做出贡献的边界，甚至为该领域的长期发展带来了障碍。
近期，为了缓解这一现状，来自清华大学的研究者们提出的一种完全不需要预训练语言模型的高效学习框架。这一框架从通用语料中筛选出与下游任务相关的子集，并将语言建模任务与下游任务进行联合训练。研究者们称之为 TLM (Task-driven Language Modeling)。相较于传统的预训练模型（例如 RoBERTa），TLM 仅需要约 1% 的训练时间与 1% 的语料，即可在众多 NLP 任务上比肩甚至超出预训练模型的性能(如图 1 所示)。研究者们希望 TLM 的提出能够引发更多对现有预训练微调范式的思考，并推动 NLP 民主化的进程。
AMiner,让AI帮你理解科学！https://www.aminer.cn