REALM：将检索集成到语言表征模型，搞定知识密集型任务！

文 / Ming-Wei Chang 和 Kelvin Guu，研究员，Google Research

自然语言处理的最新进展以 无监督预训练 为基础，使用大量文本训练通用语言表征模型 (Language Representation Models)，无需人工标注或标签。这些预训练模型，如 BERT 和 RoBERTa，经证明可以记忆大量世界知识，例如“the birthplace of Francesco Bartolomeo Conti”、“the developer of JDK”和“the owner of Border TV”。

虽然知识编码能力对于某些自然语言处理任务（如问题回答、信息检索和文本生成等）尤为重要，但这些模型是 隐式地 记忆知识，也就是说世界知识在模型权重中以抽象的方式被捕获，导致已存储的知识及其在模型中的位置都难以确定。此外，存储空间以及模型的准确率也受到网络规模的限制。为了获取更多的世界知识，标准做法是训练更大的网络，这可能非常缓慢或非常昂贵。

如果有一种预训练方法可以 显式地 获取知识，如引用额外的大型外部文本语料库，在不增加模型大小或复杂性的情况下获得准确结果，会怎么样？

例如，模型可以引用外部文集中的句子“Francesco Bartolomeo Conti was born in Florence”来确定这位音乐家的出生地，而不是依靠模型隐晦的访问存储于自身参数中的某个知识。像这样检索包含显性知识的文本，将提高预训练的效率，同时使模型能够在不使用数十亿个参数的情况下顺利完成知识密集型任务。

在 2020 ICML  我们介绍的 “REALM: Re