知识增强的预训练语言模型系列之KEPLER：如何针对上下文和知识图谱联合训练

©原创作者 | 杨健

论文标题：

KEPLER: A unified model for knowledge embedding and pre-trained language representation

收录期刊：

TACL

论文链接：

https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00360/98089/

项目地址：

https://github.com/THU-KEG/KEPLE

问题

上一次我们介绍了ERNIE，其实类似的工作还有KnowBERT，它们的思路都是对知识图谱中的三元组表示学习，在编码实体间的关联信息后，通过对齐文本指称项将其注入到预训练语言模型之中。所不同的是KnowBERT不使用TransE，而是使用Tucker进行表示学习。

此外，KnowBERT设计了一个基于神经网络的实体链接器，该链接器能够获得和某个指称项关联的多个实体，从而为一个指称项注入多个实体的信息。

对这两个模型而言，知识的丰富程度都取决于知识表示的方法。然而传统的基于平移的表示学习方法没有考虑图谱的拓扑结构，也无法利用实体相关的文本信息编码实体。在这篇文章中，笔者将介绍该论文如何使用文本辅助图谱的表示学习，从而让实体向量蕴含更多的信息。

此外，在上次介绍ERNIE的文章中，笔者提到ERNIE使用基于自注意力机制来克服异构向量的融合。那么有没有可能在一开始就产生同构的表示向量，降低知识和文本向量融合的难度呢？

解决方案

为了避免异构向量的产生，作者使用同一个预训练语言模型编码实体和文本，从而生成处于同一语义空间的向量，并使用知识表示学习和掩码语言模型（MLM)作为预训练任务联合训练，共同更新模型参数。

具体而言，作者