论文解读：知识图谱融入预训练模型

©NLP论文解读 原创•作者 |疯狂的Max

背景及动机

以BERT为基础的预训练模型在各项NLP任务获得巨大的成功，与此同时，如何在泛化的预训练模型基础上融入某些特定领域的知识图谱以获得在特定领域内让模型有更优秀的表现，这一课题也一直备受关注。

然而大部分之前的将知识图谱融入预训练模型的工作都是将知识图谱的知识转化为知识导向的训练任务，通过更新整个模型的参数来进行训练，来实现知识图谱的融入。

这种方法虽然可以提升下游任务的效果，但是新类型的知识图谱注入时，之前已经注入的希望得以保存的知识会被冲刷，并且不同知识之间混合在一起，所以难以进一步研究和分析每种知识图谱各自的效果。

针对这样的问题，K-ADAPTER过一种灵活且简单的框架将多种知识图谱融入预训练模型中。K-ADAPTER保留原本的预训练模型参数不变，通过在预训练模型的中间层之外加入额外的模型结构，这也就是文中提到的adapter。

具体而言，作者用RoBERTa作为基础预训练模型，融入了两种类型的知识图谱：一种是维基百科三元组构成的知识图谱，另一种是基于句法依存的语法类知识图谱。

两种知识图谱对应的adapter是分别训练的，同时因为adapter需要更新的参数远小于RoBERTa，因此训练过程高效。训练好的模型在relation classification，entity typing和question answering这3个知识导向的下游任务上效果都优于RoBERTa。

将知识图谱融入预训练模型的几种模型

1.ERNIE：抽取WikiData的fact triples，并去除了少于3个实体的句子来进行预训练，其中实体的embedding是通过TransE基于WikiData的fact