Transformer性能被高估？DeepMind动态评估模型的时间泛化能力

©PaperWeekly 原创 · 作者 | 王馨月

学校 | 四川大学

研究方向 | 自然语言处理

论文标题：

Mind the Gap: Assessing Temporal Generalization in Neural Language Models

论文链接：

https://arxiv.org/abs/2102.01951

项目地址：

https://github.com/deepmind/deepmind-research/tree/master/pitfalls_static_language_models

这篇论文是 DeepMind 在 NeurIPS 2021上的一篇 spotlight 论文。作者提出，世界是动态的而当前的语言建模是静态的，并证明了 Transformer-XL 语言模型在预测训练期结束一段时间之后的现实设置中的表现和性能会越来越差。仅增加模型大小并不能解决这个问题，但让模型不断用新信息更新知识可以缓解性能随时间的下降，作者认为我们应该重新思考目前训练和评估语言模型的静态方式，并开发能够不断变化的自适应语言模型。作者提出了 WMT 和 ARXIV 数据集上的动态流语言建模基准，以促进考虑时间动态的语言模型评估。

实验

作者首先介绍了时间分层实验设置，该设置检验了 Transformer LM 在对超出其训练期的未来话语进行评估时的表现。

作者进行了两种设置：一是时间分层设置（TIME-STRATIFIED setup），二是控制设置（CONTROL setup）。

• TIME-STRATIFIED setup：作者根据过去训练的 LM 预测在其训练数据时间段之后发表的未来文章的能力来评估模型。使用从每个数据集的时间段开始到 2017 年 9 月的所有文档作为训练数据，并使用 2017 年的最后三个月作为验证期，然后在上面的 2018-2019 测试集上评估模型。

• CONTROL setup：作者通过将 TIME-STRATIFIED 与 CONTROL 设置进行比较来评估时间分层是否对当前 LM 构成挑战。在这个设置中，训练集包括来自与评估集相同的 2018-2019 时期的文档。这种 CONTROL 设置类似于静态语言建模实验，它在重叠时间段的文本数据上训练和评估 LM。

作者在 ARXIV 摘要数据集和 WMT News Crawl（WMT）数据集上，使用具有 18 层和 1,024 个隐藏单元的 Transformer-XL 进行实验。下图是 Transformer-XL 在使用两种不同设置进行训练时的困惑度。