论文阅读笔记（3）——Translating Embeddings for Modeling Multi-relational Data

Abstract

我们考虑在低维向量空间中嵌入实体和多维数据关系的问题。目标是提出一种易于训练的规范模型，该模型包含数量减少的参数，并且可以扩展到非常大的数据库。因此提出了TransE，一种通过将关系解释为对实体的低维嵌入进行操作的翻译来建模关系的方法。尽管它很简单，但由于大量实验表明TransE在两个知识库的链接预测中明显优于最新方法，因此这种假设被证明是有效的。此外，它可以在具有1M 实体，25k关系和超过17M 训练样本的大规模数据集上成功进行训练。

1 Introduction

多重关系数据是指有向图，其节点对应于表单的实体和边缘（头，标签，尾巴）（表示为（h，l，t）），每一个都表明实体头之间存在名称标签的关系和尾巴。
多重关系数据模型在许多领域起着举足轻重的作用。例：社交网络分析：实体是成员，边（关系）是友谊/社交关系链接，推荐系统：实体是用户和产品，关系是购买，评级，评论或搜索产品。

Modeling multi-relational data

通常，建模过程归结为提取实体之间的局部或全局连接模式，并通过使用这些模式来概括特定实体与所有其他实体之间观察到的关系来执行预测。单一关系的本地性概念可能纯粹是结构性的。与单关系数据相反，在对数据进行描述性分析后可以进行即席而简单的建模假设，而关系数据的困难在于局部性的概念可能同时涉及不同类型的关系和实体，因此多关系数据建模需要更多通用方法，这些方法可以同时考虑所有异构关系来选择适当的模式。
继用户/项目聚类或矩阵分解技术在协作过滤中成功地表示单个关系数据中实体的连通性模式之间的非平凡相似性之后，大多数现有的多关系数据方法都在关系框架内进行了设计。
事实上，即使在复杂且异构的多关系域中，简单而适当的建模假设也可以在准确性和可伸缩性之间取得更好的折衷。

Relationships as translations in the embedding space

本文介绍了TransE，一个基于能量的模型，用于学习实体的低维嵌入。换句话说，关系在嵌入空间中表示为平动:如果(h，l，t)成立，那么尾部实体t的嵌入应该接近头部实体h的嵌入，加上某个依赖于该关系的向量。我们的方法依赖于一组简化的参数，因为它只学习每个实体和每个关系的一个低维向量。
我们基于平移的参数化背后的主要动机是层次关系在KBs中非常常见，而平移是表示它们的自然转换。
新模型的架构主要是为层次结构建模而设计的，在大多数类型的关系上都很强大，并且在真实世界KBs上的链接预测方面可以显著优于最新的方法。此外，它的光参数化使得它能够在包含1M个实体、25k个关系和超过17M个训练样本的Freebase大尺度分割上成功训练。

2 Translation-based model

给定一个由两个实体h, t∈E(实体集)和一个关系l∈L(关系集)组成的三元组(h， l， t)的训练集S，模型学习实体和关系的向量嵌入。嵌入以Rk为值(k是模型的超参数)，并以相同的字母表示，以黑体字表示。模型的基本思想：函数关系引发的“l-labeled边缘对应于一个嵌入的翻译,即我们希望h + l ≈ t ，当(h,l,t)满足(t 是h+l的一个最近邻),否则h+l应该远离t。在基于能量的框架下，一个三元组的能量等于d(h + l， t)对于不同的度量d，我们取L1范数或L2范数。
为学习这样的嵌入，对训练集最小化一个基于边缘的排序准则:

$\mathcal{L}={\sum }_{(h,\ell ,t)\in S}{\sum }_{\left(h^{\prime },\ell ,t^{\prime }\right)}$