【论文笔记】SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions

SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions

摘要

知识图谱嵌入将知识图谱中的实体和关系表示为低维的，连续的向量，从而使知识图谱能够与机器学习模型兼容。尽管有很多知识图谱嵌入的模型，但大多数只涉及事实三元组，实体和关系的补充文字说明并未得到充分利用。本文提出了SSP方法， 联合学习事实三元组和文本描述，建立了二者之间的交互，使用文本描述发现实体、关系的语义相关，提高嵌入的准确性。大量的实验表明，该方法在知识图补全和实体分类任务上取得了实质性的改进。有关该文章的详细信息可以在网站http://www.ibookman.net/conference.html查看。

Background

知识图谱嵌入对NLP领域的很多方向都有深远的影响。为了获得低维、连续的嵌入向量，很多学者做了大量的研究。比如TransE、PTransE、KG2E等。

知识图谱嵌入的一个重要分支就是基于平移的模型，将头部实体转换为尾部实体：$h+r=t$。虽然传统的嵌入方法取得了很大的成功，基于以下两个理由，我们应该研究文本增强的嵌入：

1）发现语义相关性。实体之间的语义相关性能识别正确的三元组，仅仅从事实三元组进行推断是很难的。通过将损失投影到表示实体之间语义相关性的超平面来衡量三元组的可能性。 只要投影到语义超平面上的损失向量的 l2 范数足够小，就可以认为该三元组正确。

2）提供精确的语义表达。比如查找张三这个人，可能有两个结果，一个是歌手，一个是罪犯，如果仅仅从三元组来区分它们是很难的。如果其文本描述中充斥着唱歌、专辑、粉丝，其结果就显而易见了。精确的语义表达细化了嵌入。

现有的模型没有解决的一个问题是，弱相关建模，即当前模型难以表征文本和三元组之间的强相关性。本文提出将三元组映射到超平面这样一个语义子空间中，如图2所示。

本文模型

本文提出的模型称为SSP，评分函数使用基于平移的方法，意味着三元组潜入关注于损失向量。根据作者的动机，假设损失向量是固定长度的，目标是最大化超平面上的分量。通过超参数 λ 权衡两部分：
$$f_r(h,t)=-\lambda {\Vert \mathbf{e}-{\mathbf{s}}^{\top }\mathbf{e}\mathbf{s}\Vert }_2^2+\Vert \mathbf{e}{\Vert }_2^2$$
其中 $e=h+r-t,\Vert x{\Vert }_2$ 为向量x的$l_2$范数。其中s为上面图2中的semantic 超平面的法向量， $S^{T}e$ 为e在法向量s上投影的长度，再乘 以s即为e在s上的投影， $\mathrm{e}$ 再减去该投影向量即为e再semantic 超平面上的投影。

使用topic model生成语义向量，将每一个实体描述看作为一个文档， 得到文档中的topic分布作为实体的语义向量。知识图谱中，实体通常用topic组织，这是作者选择topic model的原因。由于在训练过程中会重新填充语义向量，而且语义信息也会被清楚，因此并不能调整所有的参数。作者联合了topic 模型和嵌入模型。每个语义向量的分量都代表着与topic相关性的等级，作者采用了以下方式来组合语义向量：
S (