知识图谱表示学习 TransE: Translating Embeddings for Modeling Multi-relational Data

知识图谱表示学习 TransE: Translating Embeddings for Modeling Multi-relational Data

表示学习是深度学习的基础，将数据用更有效的方式表达出来，才能让深度学习发挥出更强大的作用。表示学习避免了手动提取数据特征的繁琐，允许计算机学习特征的同时，也学习如何提取特征。尽管举例基于翻译（translation）的知识图谱表示学习已经过去了五六年的时间，但是仍不可忽略其重要意义。本文聚焦于TransE模型。

1. 引言

多元关系数据（Multi-relational data）对应一个有向图，常用$(head,label,tail)$的三元组来表示，有时也记作$(head,relation,tail)$。head表示头结点，tail表示尾结点，在图中对应一个实体，故也称作头实体和尾实体。本文的工作集中于对知识图谱中的多元关系数据进行建模，在不引入额外知识的情况下，可以高效自动获取新的知识。

多元关系数据建模：通常来讲，建模的过程最终落于提取实体之间局部或者全局的连接模式，通过这些连接模式来预测一个特定实体和其他实体之间的关系。难点在于关系数据中包含的实体或者关系可能属于不同的类型，所以对多元关系数据进行建模需要选择合适的方法考虑到不同关系的异质性。

关系作为嵌入空间的转换关系：本文中，我们提出TransE，其中关系作为向量空间转变的桥梁。若存在$(h,l,t)$的三元组，则实体$t$的嵌入表示应该等于头实体$h$的向量+关系向量$l$。

2. 相关工作

(1) 结构化嵌入表示 Structured Embeddings(SE)：将实体嵌入进$R^K$，将关系嵌入进两个变换矩阵$L_1\in R^{K\times K}，L_2\in R^{K\times K}$, 使得