CIKM 2021 | DISENKGAT：知识图谱解耦表征学习

©PaperWeekly 原创 · 作者 | 吴俊康

学校 | 中国科学技术大学硕士生

研究方向 | 信息检索

论文标题：

DisenKGAT: Knowledge Graph Embedding with Disentangled Graph Attention Network

论文作者： 

吴俊康（中国科学技术大学），石文焘（中国科学技术大学），曹雪智（美团），陈佳伟（中国科学技术大学），雷文强（新加坡国立大学），张富峥（美团），武威（美团），何向南（中国科学技术大学）

论文链接： 

https://arxiv.org/pdf/2108.09628.pdf

收录会议： 

CIKM 2021

摘要

知识图谱补全近年来受到学术界和业界的广泛关注。然而现有的方法只将图谱中的实体表征成单独的静态的一个向量，这限制了模型的表达能力，特别是难以捕捉图谱中的复杂的关系。基于此，我们提出了一个知识图谱解耦表征方法，将每个实体表征为多个独立的向量，从而提升模型的表达能力。一方面，我们在知识图谱卷积中引入关系感知信息聚合机制，促使表征的每个成分聚合到不同的信息，此部分实现了“微观解耦”；另一方面，我们通过添加互信息正则项来增强表征中每个成分之间的独立性，从而实现了“宏观解耦”。最后，我们在常用的两个基准数据集上验证了解耦表征可以有效的提升性能。

研究背景

知识图谱补全是知识图谱中最为基础且最为常见的任务之一，许多 AI 相关工作都需要依靠知识图谱的构建。现有模型（基于距离表征的模型、基于语义匹配的模型以及基于神经网络的模型）的常见思路是通过定义一个打分函数，期望其能较好地分辨出真实三元组与伪三元组；即真实样本的预测分数显著高于负样本。

我们研究过程中发现现有模型仍存在显著的问题：如一对多 (1-N)、多对一 (N-1) 与多对多关系（N-N）的预测。举例来说，如图 1 所示，国籍就是一种典型的多对一关系，即每个人都只有唯一的一种国籍，而成千上万的人都拥有相同的国籍。将询问（科比，职业，？）和询问（比尔盖茨，职业，？）进行分析举例，由于两人物的国籍均上美国，因此上述模型会将科比和比尔盖茨两实体拉近以共享国籍美国这一信息。而针对职业这一关系，两者差异巨大，直觉是应该疏远两者，并无明显相关性，显然静态且唯一的表征会显著影响图谱补全的效果。换言之，上述经典模型无法根据场景的动态变化生成不同的适应性表征。

▲ 图1

针对上述案例中选取例子，本文总结现存模型的劣势如下：

1. 简单的聚合邻居信息无法有效提取建模关键的邻居边信息，其中邻居边信息往往蕴含着实际预测的场景。本文认为同一实体在不同场景下应当展现出不同的表征含义。

2. 上述模型往往忽视了实体嵌入表征背后往往存在隐因子的耦合。如下图2所示，科比和不同场景下的信息都有邻接关系，比如职业部分、荣誉部分、家庭信息以及地域信息。假设有一个询问时关于科比的儿子信息，显然我们期望模型将更多的重心侧重于他家庭属性下的邻居，如他的妻子以及他的女儿，而不是一些他的工作他的荣誉等无关主题等属性信息。

3. 根据上述两点，之前模型将会导致模型的可解释较低以及鲁棒性较低。现有模型生成的单一、静态化表征将导致其在提取邻居信息的过程中抹除了关键的结构信息和文本语义信息。

▲ 图2

在本文中，我们通过引入基于解耦表征的学习框架以解决上述问题。知识图谱解耦的核心思想为：通过将实体不同主题语义表示进行拆分解耦，根据给定查询针对性匹配相应主题化语义表示进行嵌入预测，以实现不同场景下动态化表示，从而有效解决复杂多语义知识图谱表示补全。