TransRHS论文总结

TransRHS: A Representation Learning Method for Knowledge Graphs with Relation Hierarchical Structure

来源：IJCAI 2020

主要内容：

以往的模型在进行 KGE 时，忽略了关系的层次结构即关系间的“subRelationOf”，也就是关系间的泛化，因为考虑层次结构会对 KGE 效果有负面的影响。为了在进行图的嵌入时也对关系的层次结构建模，本文提出了 TransRHS，该模型基于TransE的基础上对于每个关系训练一个球（sphere），将每个关系嵌入为一个带有球（sphere）的向量，用向量差和球的相对位置关系表示关系的层级结构。利用向量和球之间的相对位置建模出关系间的泛化关系，并且尽量不损失 KGE的效果。

上图为 RHS 的形式化表示，下面层的关系是上面层关系的子关系， 表示第 i 层的第 j 个子关系。

整个 KG 的所有三元组被分为两部分：

分别为描述关系间的泛化关系的三元组集 Tr和描述实体与实体间关系的三元组集 Te。

为了整合 RHS 信息，KGE 模型应当满足如下的两条规则：

大概意思为如果实体h与t间存在关系r，h与t间存在关系p当且仅当r与p间存在泛化关系，且关系与关系间的泛化关系存在递推性。

其中▲表示模型中有效三元组的集合。
 

TransRHS

TransRHS 介于TransE扩展而来，仍然遵循翻译规则 “h + r ≈ t”，只是为每个关系多引入了一个球。

给定三元组对 (h,r,t)∈Te，(r,sro,p)∈Tr，关系 p 会在模型下学习一个低维的嵌入向量 p 和相应的球 s1，半径为 m1，为关系 r 学习一个低维嵌入向量 r 和相应的球 s2（半径为 m2）。

则有

h+p 和 t 之间的距离为：d1=∥h+p−t∥2d1=‖h+p−t‖2

h+r 和 t 之间的距离为：d2=∥h+r−t∥2d2=‖h+r−t‖2

双层RHS

上图展示了理想的 embedding 情况，该三元组对需要满足如下的条件：

在如下的情况下 embedding 仍然需要继续训练优化：

针对上面的四种情况定义的 loss:

三层 RHS

TransRHS 可以处理多层，即三层及三层以上的关系层次结构：

给定一个关系三元组 (h,r,t) 和两个关系泛化对(r,sro,t)和 (p,sro,pp)，则理想的 embedding 应满足如下条件：

由模型的设计可知，关系的泛化层数越深，对应的嵌入球体的半径越大，但是这样反而导致打分函数的值也越来越大，出现了较大的误差，可能影响嵌入的效果，因此文章提出了使用比例参数来保证球半径差异成比例下降的策略

迭代训练

实验

链接预测

考虑到大多数图中不包括实验所必须的无效三元组，对于其产生有两种主要策略：“bern”和“unif”。

前者通过随机破坏有效三元组获得无效三元组，以正事实（h，r，t）为例，通过从实体集中随机抽样h0或t0得到负三元组（h0，r，t0）或（h，r，t0）。然而，一个现实中的图往往是稀疏的，导致可能在训练中引入许多不存在的无效三元组。

后者考虑到关系的映射特性，即关系的1对N、N对1和N对N，并设置不同的概率

用于在破坏有效三元组时替换头部或尾部实体。

可以看到TransRHS整体较大幅优于其他模型的表现，其中unif策略在Sport关系集上表现更好，bern策略在Location关系集上表现更好。

三元组分类

可以看到bern策略明显优于unif策略，而且TransRHS的训练效果要整体好于其他模型。

---

总结与改进： TransRHS模型虽然基于传统方面在关系间的泛化方面做出了改进，但是还是传统意义上的翻译模型，仍然无法做到比较好的处理关系间的对称性，反对称性等特性，并且没有进一步对于unif策略和bern策略选用的探讨。

因此进一步的研究可以利用该文编码关系球体的思路引入旋转模型或是双曲几何模型上，让其较好的处理关系的一些特性。同时可以从两种生成无效三元组的策略出发研究不同的策略针对于具有不同特性的关系集的不同效果，来让模型的效果最大化。