TransE：Translating Embedding多元关系数据嵌入（知识图谱嵌入）2013 NIPS

论文链接：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.447.6132&rep=rep1&type=pdf
代码链接：https://github.com/Anery/transE

导读

表示学习旨在学习一系列低维稠密向量来表征语义信息，而知识表示学习是面向知识库中实体和关系的表示学习。当今大规模知识库（或称知识图谱）的构建为许多NLP任务提供了底层支持，但由于其规模庞大且不完备，如何高效存储和补全知识库成为了一项非常重要的任务，这就依托于知识表示学习。

transE算法就是一个非常经典的知识表示学习，用分布式表示（distributed representation）来描述知识库中的三元组。想象一下，这类表示法既避免了庞大的树结构构造，又能通过简单的数学计算获取语义信息，因此成为了当前表示学习的根基。

1、TransE算法原理

我们知道知识图谱中的事实是用三元组 $(h,l,t)$ 表示的，那么如何用低维稠密向量来表示它们，才能得到这种依赖关系呢？transE算法的思想非常简单，它受word2vec平移不变性的启发，希望$h+l\approx t$（此为归纳偏差？）。

光有这一个约束可不够。想让$h+l\approx t$，如何设置损失函数是个关键。我们发现表示学习都没有明显的监督信号，也就是不会明确告诉模型你学到的表示正不正确，那么想要快速收敛就得引入“相对”概念，即相对负例来说，正例的打分要更高，方法学名“negative sampling”。损失函数设计如下： L = ∑ ( h , l , t ) ∈ S ∑ ( h ′ , l , t ′ ) ∈ S ( h ,