CoKE: 上下文化的知识图谱嵌入

Quan Wang, Pingping Huang, Haifeng Wang, Songtai Dai, Wenbin Jiang, Jing Liu, Yajuan Lyu, Yong Zhu, Hua Wu - Baidu Inc., Beijing, China，2020

CoKE: Contextualized Knowledge Graph Embedding

摘要：

• 本文提出了一种新型的知识图谱嵌入范式，称为CoKE（Contextualized Knowledge Graph Embedding），它考虑了实体和关系在不同图上下文中的固有上下文性质。
• 传统的知识图谱嵌入方法为每个实体或关系学习单一的静态表示，而CoKE学习动态的、灵活的、完全上下文化的实体和关系嵌入。
• CoKE将输入序列（边缘或路径）作为输入，并使用Transformer编码器来获取上下文化表示，这些表示自然适应于输入，捕获其中的实体和关系的上下文含义。
• 在多种公共基准数据集上的评估验证了CoKE在链接预测和路径查询回答任务中的优越性。

模型架构：

输入序列可以是边（左侧）或路径（右侧），其中实体被特殊标记[MASK]替换。然后，这个输入被送入一堆Transformer编码器块中。最终，对应于[MASK]的隐藏状态被用来预测目标实体。

结论：

• CoKE作为一种新颖的知识图谱嵌入范式，通过学习动态、灵活且完全上下文化的嵌入来捕获实体和关系的上下文含义。
• CoKE在多个基准测试中取得了优异的性能，并且参数效率很高。

未来工作：

• 将CoKE推广到边缘和路径之外的其他类型的图上下文，如任意形式的子图。
• 将CoKE应用于更多的下游任务，包括知识图谱内的和更广泛领域的任务。

Code

Research/KG/CoKE at master · PaddlePaddle/Research · GitHub