实体结构与语义融合的多层注意力知识表示学习

摘要: 基于知识图谱的知识表示学习虽然可以获得实体的结构和关系嵌入，但是缺少对实体描述文本的语义信息利用。此外，随着知识图谱规模的增长，实体和关系的类别与数量，以及实体描述的内容和来源随之增加，实体的文本描述与三元组结构信息之间的对应关系更加难以获得。基于此，本文提出一种实体结构与语义融合的多层注意力知识表示学习方法，通过构建多层注意力机制，将实体的结构嵌入用于增强实体描述中的语义表达，再通过Transformer模型获取实体描述的语义关系，并采用关系的结构嵌入对其增强和整合，最后利用整合后的语义关系对关系嵌入集合加以丰富和整合。特别是，构建了面向实体结构与语义融合多层注意力机制的损失函数。实验结果表明，本文所提方法能有效推理包含复杂实体描述的实体之间隐藏链路关系，在三元组分类任务中具有比同类方法更准确的分类精度。

• 关键词: 
• 知识表示学习  /  
• 实体结构嵌入  /  
• 语义信息  /  
• 注意力机制  /  
• 知识图谱  /  
• 知识推理  /  
• 复杂实体描述  /  
• Transformer  

随着互联网技术的迅猛发展,各类数据呈现爆炸式增长。为更加有效地描述数据中隐含的有价值知识，知识图谱应运而生，具有代表性的有Freebase [1]、WordNet[2]和YAGO[3]等。知识图谱旨在描述真实世界中存在的各种实体或概念及其关系，本质上是一种大型语义网络，由诸多相互连接的节点构成[4]。每个节点代表一个实体，节点之间的边表示实体之间的关系[5]。实体及其关系采用三元组表示，用于描述知识图谱中包含的信息[6]，例