知识图谱嵌入(KGE)主流模型简介

1. KGE简介

目前(2020.03)知识图谱嵌入研究方法众多，本文将对其中的主流方法进行简要介绍，如翻译、双线性、神经网络、双曲几何、旋转等。各方法细节请看原论文，文中错误欢迎指出，谢谢。

知识图谱嵌入(Knowledge Graph Embedding, KGE)学习知识库中的实体和关系的Embedding表示，是语义检索、知识问答、推荐等众多应⽤的基础研究。在具体了解KGE之前，我们先来看知识图谱是什么，为什么又要做知识图谱嵌入呢。

如下图所示，知识图谱是由大量的事实三元组组成，如（英国, 首都, 伦敦）便是真实世界中的知识，可用$(h,r,t)$进行表示，其中$h,t$表示头尾实体，$r$表示关系。但我们知道，真实世界中知识是无限增长的，而知识图谱却不能包含真实世界中的所有知识，因此需在知识库中进行知识补全，或者称为链接预测。

如何进行链接预测呢？一个可行的方法便是将实体和关系进行Embedding表示，类似于Word2Vec，将字或词表示成Embedding信息。然后根据实体和关系的Embedding信息进行预测，比如利用头实体和关系去预测尾实体，或者利用尾实体和关系去预测头实体。当然，Embedding信息也可应用到其他领域，比如知识问答、文本信息增强、语义检索等。

2. KGE模型

通过上面介绍，我们知道KGE是将知识库中的实体和关系进行Embedding表示，但具体有哪些方法呢？根据我个人的理解，将模型规划为翻译(TransE, TransH, TransR, etc)、双线性(RESCAL, DisMult, ComplEx, etc)、双曲几何(Poincare, MuRE, etc)、神经网络(ConvE, CapsE, etc)、旋转(RotatE, QuatE, DihEdral, etc)类别，下面逐一进行介绍。

2.1 翻译模型

翻译模型是把关系当作头实体和尾实体之间的翻译，包括TransE, TransH, TransD等模型。

TransE认为$h+r\approx t$，即$r$是头尾实体之间的翻译关系，并定义评分函数为$f_r(h,t)=||h+r-t|{|}_2^2$，优化目标是最小化评分函数。TransE能够解决1-1类别的关系，但不能够很好的解决1-N, N-1, N-N关系。比如（流浪地球，演员，吴京）、（流浪地球，演员，吴孟达）两个三元组，当头实体$h$和关系$r$相同时，TransE认为所有尾实体$t$具有相同的Embedding信息，但实际情况并非如此。
针对TransE存在的问题，TransH把头实体$h$和尾实体$t$投影到关系所在的超平面中，并定义评分函数为$f_r(h,t)=||h_{\perp }+r-t_{\perp }|{|}_2^2$，其中$h_{\perp }=h-w_r^{T}h{w}_r,t_{\perp }=t-w_r^{T}t{w}_r$。经过投影后，尽管头实体$h$和关系$r$相同，尾实体$t$的Embedding信息也会不同，TransH能够一定程度上解决多对多的关系。
TransR认为TransE和TransH均是把实体和关系放在同一空间中进行考虑，但实体可能具有多个不同方面的属性，不同的关系也关注着实体的不同属性，因此把实体和关系放在同一空间中考虑是不准确的。因此，TransR构建实体空间和关系空间，并定义评分函数为$f_r(h,t)=||h_{\perp }+r-t_{\perp }|{|}_2^2$，其中$h_{\perp }=h{M}_r,t=t{M}_r$，$h_{\perp },t_{\perp }$属于实体空间，$r$属于关系空间。

如下图所示，除了TransE, TransH, TransR以外，还有其他Trans模型，考虑实体和关系的概率性、稀疏性等问题，此处不再赘述。但总体上，Trans模型均是把关系当作头尾实体之间的翻译，解决知识库中所存在的多对多问题。

2.2 双线性模型

双线性模型计算实体和关系在向量空间中潜在语义的可信度，包括RESCAL、DisMult、ComplEx等模型。

RESCAL把关系利用满秩矩阵表示，并定义评分函数为$f_r(h,t)=h^T{M}^{}$