I Know What You Do Not Know:Knowledge Graph Embedding via Co-distillation Learning

Former有代码

摘要

知识图(KG)嵌入旨在学习实体和关系的向量表示。传统模型对图结构进行推理，但它们存在图不完备性和长尾实体的问题。最近的研究使用预训练的语言模型来学习基于实体和关系的文本信息的嵌入，但它们不能利用图结构。在本文中，我们通过经验证明了这两种特征在KG嵌入中是互补的。为此，我们提出了一种用于KG嵌入的协同蒸馏学习方法CoLE，它利用了图结构和文本信息的互补性。其图嵌入模型采用Transformer从实体的邻域子图重构实体的表示。它的文本嵌入模型使用预训练的语言模型，从名称、描述和关系邻居的软提示生成实体表示。为了让两个模型相互促进，我们提出了共蒸馏学习，允许它们从彼此的预测逻辑中提取有选择性的知识。在我们的共蒸馏学习中，每个模型既是老师又是学生。在基准数据集上的实验表明，这两种模型的性能都优于相关的基线，结合共蒸馏学习的集成方法CoLE提高了KG嵌入的水平。

1.介绍

知识图(KG)是一种多关系图，其中每个节点代表一个实体，有向边有一个标签，表示两个实体之间的特定关系。在KGs中，edge是以(头实体、关系、尾实体)的形式构成的三连词，如(科比·布莱恩特、职业、运动员)。KGs在各种知识驱动的应用中发