TransH论文翻译

Knowledge Graph Embedding by Translating on Hyperplanes

摘要

研究了将由实体和关系组成的大规模知识图谱嵌入到连续向量空间中的问题。TransE是最近提出的一种很有前途的方法，其非常高效，同时可以获得最优的预测效果。我们讨论了一些关系的映射属性，这些属性在嵌入时应该被考虑，比如自反性、一对多、多对一和多对多。我们注意到，TransE在处理这些属性方面做得并不好。一些复杂模型能够保持这些映射属性，但在处理过程中效率不高。为了在模型性能和效率之间取得良好的平衡，本文提出了TransH，其可以构建关系的超平面并执行翻译操作。这样，我们可以很好的保持上面提到的关系映射属性，且模型复杂度与TransE相似。另外，作为一个实用的知识图谱，其往往是不完整的，如何在训练中构造负采样来减少假负标签则显得非常重要。利用一个关系的一对多/多对一映射属性，我们提出了一个简单的技巧来降低假负标签的可能性。我们在标准数据集如WordNet和Freebase上进行了大量的链接预测、三元组分类和事实抽取的实验。实验表明，与TransE相比，TransH在预测精度上有显著的改进，并具有与之相当的扩展能力。

引言

知识图谱，如Freebase (Bollacker et al. 2008)、WordNet (Miller 1995)和GeneOntology
(Ashburner et al. 2000)已经成为支持许多人工智能相关应用的重要资源，如网络/手机搜索、问答等。知识图谱是由实体作为节点，关系作为不同类型的边组成的多元关系图。边的一个实例是事实三元组(头实体、关系、尾实体)(记为(h, r, t))。过去十年中，在构建大规模知识图谱方面已经取得了巨大的成就，但是支持计算的一般范式仍然不清楚。两大难点是:
(1)知识图谱是一种符号逻辑系统，其应用往往涉及连续空间的数值计算;
(2)很难在一个图谱中聚集全局信息。
传统的形式逻辑推理方法在处理大规模知识图谱的长时间推理时，既不易于操作，也不耐用。最近提出一种新方法来处理该问题，即试图将知识图谱嵌入到一个连续向量空间中，同时保持原始图谱的某些属性(Socher等， 2013;Bordes等，2013a;Weston等，2013;Bordes等，2011;2013 b;2012;Chang、Yih和Meek 2013)。例如，每个实体h(或t)被表示为向量空间中的一个点h(或t)，而每个关系r被建模为空间中的一个操作，该操作以一个向量r为特征，如翻译、投影等。实体和关系的表示是通过最小化一个涉及所有实体和关系的全局损失函数得到的。因此，即使单个实体/关系的嵌入表示也能从整个知识图谱中编码全局信息。然后，嵌入表示可以用于各种应用程序。其中一个直截了当的应用是补全知识图中缺失的边。对于任意候选三元组(h, r, t)，我们只需检查h和t在r所表征的运算下表示的兼容性即可确定其正确性。
通常知识图谱嵌入将实体表示为k维向量h(或t)，并定义一个得分函数来衡量嵌入空间中三元组(h,r, t)关联的合理性。得分函数表示以关系r为表征的实体对之间的转换r。例如,在基于TransE的翻译中(Bordes et al. 2013b), fr (h ，t)= ,即通过翻译(向量)r来表征关系r。不同的得分函数表示的转换不同，有简单差异 (Bordes et al. 2012), 翻译 (Bordes et al. 2013b), 仿射 (Chang, Yih, and Meek 2013), 一般线性 (Bordes et al. 2011), 双线性 (Jenatton et al. 2012; Sutskever, Tenenbaum, and Salakhutdinov 2009)和非线性变换(Socher et al. 2013). 根据模型的复杂性(以参数数量为依据)变化显著。(详情见表1及“有关工作”部分。)

---

---

在之前的方法中，TransE (Bordes et al. 2013b)是一个很有前途的方法，因为它既简单又高效，同时达到了最先进的预测效果。然而，我们发现在处理自反/一对多/多对一/多对多映射属性的关系时，TransE存在缺陷。以前很少讨论这些映射属性在嵌入中的作用。一些具有更多自由参数的高级模型能够保留这些映射属性，但是，模型的复杂性和运行时间也因此显著增加。此外，先进模型的整体预测效果甚至不如TransE (Bordes et al. 2013b)。这促使我们提出了一种能够很好地平衡模型复杂性和效率的方法，从而在继承效率的同时克服TransE的缺陷。
本文从分析TransE在自反关系、一对多关系、多对一关系、多对多关系的问题入手。为此，我们提出了一种名为translation on hyperplanes(TransH)的方法，该方法将关系解释为超平面上的翻译操作。在TransH中，每个关系由超平面的法向量()和超平面上的翻译向量()表征。对于一个正确三元组(h, r, t)，它在客观现实中是正确的，期望h和t在超平面上的投影通过翻译向量dr以低误差连接起来。这种简单的方法克服了TransE在处理自反/一对多/多对一/多对多关系时的缺陷，同时模型复杂度与TransE基本相同。关于模型训练，我们指出，在知识嵌入中认真构建负标签很重要。通过依次利用关系的映射属性，我们提出了一个简单的技巧来降低假负标签的出现。我们在基准数据集(如WordNet和Freebase)上进行了大量的链接预测、三元组分类和事实抽取的实验，在不同的预测精度指标上显示出了显著性的改进。TransH与TransE的运行时间也相差不大。

相关工作

表1简要总结了最相关的工作。所有这些方法都将实体嵌入到一个向量空间中，并在一个评分函数下强制嵌入兼容。不同的模型对得分函数fr(h,r)的定义不同，即在h和t上有一些变化。
TransE（Bordes et al. 2013b） 表示翻译向量r的关系，因此三元组（h，r，t）中的嵌入实体对可以通过r以低误差连接。 TransE在达到最新的预测性能的同时非常高效。但是，它在处理自反/一对多/多对一/多对多关系方面存在缺陷。
Unstructured是TransE的简化情况，该情况将图谱视为单关系并设置所有的翻译r = 0，即得分函数为||h-t||。在（Bordes et al.2012; 2013b）中，它被用作单纯的基准。显然，它无法区分不同的关系。
Distant Model (Bordes et al. 2011) 为关系中的实体引入了两个独立的投影。它通过左矩阵和右矩阵表示关系。相异性通过Wrhh与Wrtt之间的距离来衡量。正如（Socher等人，2013年）指出的那样，该模型在捕获实体和关系之间的相关性方面很弱，因为它使用了两个单独的矩阵。
Bilinear Model (Jenatton et al. 2012; Sutskever, Tenenbaum, and Salakhutdinov 2009) 通过二次形式对实体嵌入之间的二阶相关性进行建模：。因此，一个实体的每个组件都与另一个实体的每个组件进行交互。