Learning Entity and Relation Embeddings for Knowledge Graph Completion

Learning Entity and Relation Embeddings for Knowledge Graph Completion

0. 问题

• TransE和TransH都假设Entity和Relation位于同一个语义空间中
• 传统Trans模型都只是为每个Relation只建立一个特定的向量表示, 但关系通常是多样性的

1. 主要思想

• 提出TransR构建Entity Space和Relation Space两种不同的语义空间, 并在Relation Space上实现翻译
• 提出CTransR, 通过聚类的方法, 为每个关系建立多个不同的向量表示

2. TransR

实体嵌入: $\mathbf{h},\mathbf{t}\in {\mathbb{R}}^k$

关系嵌入: $\mathbf{r}\in {\mathbb{R}}^d$

投影矩阵: ${\mathbf{M}}_r\in {\mathbb{R}}^{k\times d}$

投影向量:
$${\mathbf{h}}_r=\mathbf{h}{\mathbf{M}}_r,{\mathbf{t}}_r=\mathbf{t}{\mathbf{M}}_r$$
Score Fuction:
$$f_r(h,t)={\Vert {\mathbf{h}}_r+\mathbf{r}-{\mathbf{t}}_r\Vert }_2^2$$
正则化:$\Vert \mathbf{h}{\Vert }_2\le 1,\Vert \mathbf{r}{\Vert }_2\le 1,\Vert \mathbf{t}{\Vert }_2\le 1,{\Vert {\mathbf{h}\mathbf{M}}_{\mathbf{r}}\Vert }_2\le 1,{\Vert {\mathbf{t}\mathbf{M}}_{\mathbf{r}}\Vert }_2\le 1$

3. CTransR

对于每个关系$\mathbf{r}$所对应的三元组$(\mathbf{h},\mathbf{t})$, 先通过TransE学习$\mathbf{h}$和$\mathbf{t}$, 然后依据 $\mathbf{h}-\mathbf{t}$ 来进行聚类, 为每个聚类学习一个关系向量${\mathbf{r}}_{\mathbf{c}}$.

投影向量:
$${\mathbf{h}}_{r,c}=\mathbf{h}{\mathbf{M}}_r,{\mathbf{t}}_{r,c}=\mathbf{t}{\mathbf{M}}_r$$
Score Fuction:
$$f_r(h,t)={\Vert {\mathbf{h}}_{r,c}+{\mathbf{r}}_c-{\mathbf{t}}_{r,c}\Vert }_2^2+\alpha {\Vert {\mathbf{r}}_c-\mathbf{r}\Vert }_2^2$$
其中正则项 ${\Vert {\mathbf{r}}_c-\mathbf{r}\Vert }_2^2$ 保证 ${\mathbf{r}}_c$ 和 $\mathbf{r}$ 不会偏离太远.

4. Question

• 每个关系$\mathbf{r}$有多种表示，那么执行任务时应该如何选择?
  文中的Link Prediction任务直接给出具体的 ${\mathbf{r}}_c$ 和 $\mathbf{h}$(或 $\mathbf{t}$ )来预测 $\mathbf{t}$ (或 $\mathbf{h}$ ), 但实际面对字符串表示的关系关系$\mathbf{r}$, 应该用哪个${\mathbf{r}}_{\mathbf{c}}$来表示?
  例如从文本中进行关系抽取时就会面临这个问题, 但本文似乎故意略过这一点, 只使用了TransR来执行这项任务, 而没有使用CTransR
• 实体对之间不仅要满足 ${\Vert \mathbf{h}+\mathbf{r}-\mathbf{t}\Vert }_2^2=0$的关系, 还应该满足推理的关系. 例如 (goldfish, kind_of, fish) 和 (fish, kind_of, animal) 之间可以推断出 (goldfish, kind_of, animal). 如何使关系表示具备推理能力, 是一个值得思考的点.