知识增强的预训练语言模型系列之ERNIE：如何为预训练语言模型注入知识

©NLP论文解读 |杨健

论文标题：

ERNIE:Enhanced Language Representation with Informative Entities

收录会议：ACL

论文链接：

https://arxiv.org/abs/1905.07129 

项目地址：

https://github.com/thunlp/ERNIE

问题

论文作者认为尽管预训练语言模型能够从大规模文本语料中学习到词法、语法等信息，然而这些预训练模型却忽略了知识图谱提供的知识。

这些知识能够为预训练模型提供实体的语义以及实体间的关联，从而提高预训练模型的理解能力。

我们以下面这一句子为例解释知识图谱如何提高预训练模型的理解能力。

Bob Dylan wrote Blowin’ in the Wind in 1962, and wrote Chronicles: Volume One in 2004. 

如果我们不知道Blowin’ in the Wind是一首歌，而Chronicles: Volume One是一本书，那么模型在实体分类任务上将难以推理出Bob Dylan是一名歌手和作家。在关系分类任务上也无法推断出Bob Dylan和Blowin’ in the Wind是创作者的关系。

此外，由于预训练模型使用经过分词的子词（token）作为最小的语义单元，针对句子中的歌曲和书名短语，由于出现频率过低，模型可能无法将其识别为一个完整的语义单元，从而只能模糊的学习到UNK wrote UNK in UNK。

为预训练模型注入知识图谱中的实体信息和三元组知识，能够让预训练模型识别出实体，并习得实体间的关联。

然而知识的注入面临着两个问题，一个是给定文本，如何提取出其中的相关实体并对其编码。二是知识表示学习使用和文本编码不同的编码方式，这会生成语义向量空间异构的表示向量，如何融合异构向量成为了关键的问题。