知识图谱表示学习-HolE算法

HolE

（这是一篇小白入门笔记，请勿转载，感谢指正！）

Holographic Embeddings（HolE）是一种基于语义相似度的模型。

RESCAL

实体是由复杂多重关系相互联系在一起的，实体之间和关系之间直接的关联关系不仅对其本身起作用，还可以发生传递得到新的关系。为了检测出这些关系，参照集体分类（collective classification）的方法，提出了集体学习（collective learning）对实体进行分析，以充分利用相关实体提供的信息。这一方法还被用于预测链接等学习任务。为了进行对多关系数据的集体学习，RESCAL 提出了用一种张量分解的方式来实现实体分析。HolE是 RESCAL 模型和它的简化版本 DisMult 模型的结合，兼顾了表达能力和效率。

RESCAL 模型提出用一个三阶张量来表示关系数据。对一个正确的三元组 (h, r, t)，h, r, t 的 id 分别为 i, k, j，在张量 X 中表示为 Xi jk = 1，若三元组是错误的或未知的，则 Xi jk 被置零。张量 X 的每个分片可以按照以下形式分解：

A 是一个 nr 的矩阵，B 是 rr 的非对称矩阵，通过最小化函数


来求解 A 和 Rk。A 是包含了实体潜在信息的表示，Rk 是在第 k 个关系中这些潜在信息之间的作用关系。该分解方式能够解出实体唯一对应的潜在特征矩阵，且在计算过程中保持了每个分片上实体潜在特征的相互依赖关系，每个实体也可以通过潜在特征的唯一性找到和他有依赖关系的实体。因此，该方法优于其他的诸如 CP 等的张量分解方法。同时，所有直接和间接的关系都对 A 的第 i 行 ai 的计算
结果产生决定性的影响。每个关系对应的关系表示矩阵 Rk 都表达出了实体的潜在特征是如何作用于不同的关系之中的，以及通过 Rk 的不对称性，可以分别出起作用的潜在特征所属的实体是作为头实体还是作为尾实体出现的。上述分解的方法是用交替最小二乘法不断迭代来实现的，除此之外还可以构造神经网络来进行学习，对给定一个三元组 (h, r, t )，RESCAL 定义得分函数为一个双线性函数:

神经网络的第一层将一对输入的实体投影到低维的向量空间，第二层将这两个向量组合起来通过计算得分函数的值进行比较。具体的训练过程是。RESCAL 在各数据集上的结果和性能都比较好，表明了张量分解和 RESCAL 算法在关系学习上的适用性。

DistMult

DistMult 算法是 RESCAL 的简化版，也是通过神经网络来实现。它们在模型上相似，但在关系表示和实体表示上有所不同，减少了大量参数。
DistMult 将关系矩阵 Mr 设为对角矩阵，得分函数为 f(h, t) = hT diag®t = [r]i · [h]i · [t]i，仅仅刻画出在同纬度下的 h 和 t 之间的相互关系，且由于diag 为对角矩阵，恒有 hT diag®t = tT diag®h 成立，因此该模型只适用于描述实体间的对称关系。

HolE

基于此，HolE 沿用了 DistMult 中对角阵的简化，但对实体进行嵌入时采用循环运算，定义得分函数为：

HolE 能够对不对称关系进行建模，计算高效，表达能力也较丰富。