ICLR 2019 | 基于复杂空间关系旋转的知识表示方法

作者丨王金梦

学校丨东南大学硕士生

研究方向丨知识图谱、表示学习

动机

知识图谱通常是不完全的，因此预测缺失的链路是一项基本问题，在链路预测任务上，已有大量的研究学习实体和关系的低维表示，这些方法的普遍目的是根据观测到的事实建模推断知识图谱中的连通模式。

将知识图谱中存在的关系模式划分为三类：1）对称/反对称；2）逆；3）组合。

1. 对称关系：(h,r,t)→(t,r,h)，例如“配偶”关系；反对称关系：(h,r,t)→ (t,r,h)，例如“整除”关系；

2. 逆关系：(h,r1,t)→(t,r2,h), r1 = ，例如“父亲”“儿子”关系；

3. 组合关系：(h1,r1,t1), (t1,r2,t2)→(h1,r3,t2)，例如“配偶”“父亲”“母亲”；

已有的方法其得分函数如下所示：

分析每种模型的得分函数：

1. TransE 将关系表示为头实体和尾实体之间的双射函数，只能建模“逆”关系和“组合”关系，但是不能构建“对称”模式，因为对于对称关系它会产生 r=0；

2. TransX 模型是 TransE 模型的变形，当 gr,1=gr,2 时它可以构建对称/反对称模式，但是不能推断逆和组合模式，因为 gr,1、gr,2 是可逆矩阵乘法；

3. DisMult 无法建模反对称和逆模式，因为模型本身的对称性质；

4. ComplEx 解决了 DisMult 的问题并且能够在复数空间推断对称和反对称模式，另外它还可以推导逆规则，因为共轭复数的存在，可是它不能推导组合关系，因为它通过关系 r 无法建模 h 到 t 的双射函数。

5. HolE 和 ComplEx 模型类似，ConvE 模型是一个黑箱子，包含两层神经网络和卷积操作，很难去分析，因此这几种模型可以推导的模式关系如下所示：

已存在的这些模型都只能构建和推断其中一种或几种模式，不存在一种模型可以完全构建所有关系模式，因此本文的动机就是寻找一种可以建模推断所有关系模式的方法。

上一篇论文中的 TorusE 模型的思想是在紧的李群中进行平移嵌入，TorusE 模型可以看做本文提出的模型 RotatE 的一种特殊情况，即嵌入的模数确定，RotatE 模型在整个复数空间上定义，具有更强的表达能力。TorusE 模型关注 TransE 模型的正则化问题，而本文关注多种类型的关系模式的建模问题。

另外，也有一些模型建模知识图谱的关系路径，可是这些方法只显式建模关系路径，而本文提出的模型还隐式的学习关系模式。

本文同样也研究了如何有效地进行负采样的问题，之前已有一些模型提出了生成对抗学习框架进行负采样 （KBGAN），可是这种框架要求同时训练嵌入模型和一个离散的负样例生成器，导致了难以优化和昂贵的计算代价。

模型

本文提出 RotatE 模型用于知识图谱嵌入，灵感来源于欧拉恒等式，表明了可以将虚数单位 i 视作在复数空间中的旋转。

分析：该恒等式中 e 代表连续，i 代表旋转，就代表连续旋转，+1=0 就表示自然数 1 绕原点旋转 180°，再平移 1 就回到了坐标原点。

原理：具体来讲，模型 RotatE 将实体和关系映射到复数向量空间，并且将每个关系定义为头实体到尾实体的旋转：给定三元组 (h,r,t)，期望 t=h°r，