Knowledge Graph Embedding via Dynamic Mapping Matrix

Knowledge Graph Embedding via Dynamic Mapping Matrix

0. 问题

TransR有以下缺点:

1. 对于某个 $r$ , 所有的实体共用一个投影矩阵 ${\mathbf{M}}_{\mathbf{r}}$ , 但头实体和尾实体通常不是一个类型的实体.
2. 投影矩阵 ${\mathbf{M}}_{\mathbf{r}}$ 只取决于$r$ , 但应该由实体和关系共同决定.
3. 每个 $r$ 对应一个投影矩阵, 关系多时参数过于庞大.

1. 主要思想

每个实体和关系都用2个向量来表示, 一个向量表示其含义, 另一个向量决定其投影方向.

2. TransR

对于 $(h,r,t)$, 有向量 $\mathbf{h}$, ${\mathbf{h}}_p$, $\mathbf{r}$, ${\mathbf{r}}_p$, $\mathbf{t}$, ${\mathbf{t}}_p$

其中 $\mathbf{h},{\mathbf{h}}_p,\mathbf{t},{\mathbf{t}}_p\in {\mathbb{R}}^n$ 而 $\mathbf{r}$, ${\mathbf{r}}_p\in {\mathbb{R}}^m$

对每个 $(h,r,t)$, 有2个投影矩阵:
$$\begin{array}{rl}{\mathbf{M}}_{rh}& ={\mathbf{r}}_p{\mathbf{h}}_p^{\top }+{\mathbf{I}}^{m\times n}\\ {\mathbf{M}}_{rt}& ={\mathbf{r}}_p{\mathbf{t}}_p^{\top }+{\mathbf{I}}^{m\times n}\end{array}$$
其中 ${\mathbf{I}}^{m\times n}$ 表示单位矩阵.

3. TransD和其他Trans模型的联系

1. TransE

当 $m=n$ 且 ${\mathbf{h}}_p$, ${\mathbf{r}}_p$, ${\mathbf{t}}_p$ 设置为零向量时, 可知TransE是TransD的一个特例

2. TransH

TransH模型中
$$\begin{array}{rl}{\mathbf{h}}_{\perp }& =\mathbf{h}-{\mathbf{w}}_r\mathbf{h}{\mathbf{w}}_r\\ {\mathbf{t}}_{\perp }& =\mathbf{t}-{\mathbf{w}}_r\mathbf{t}{\mathbf{w}}_r\end{array}$$
TransD模型中
$$\begin{array}{rl}{\mathbf{h}}_{\perp }& ={\mathbf{M}}_{rh}\mathbf{h}=\mathbf{h}+{\mathbf{h}}_p^{\top }{\mathbf{h}\mathbf{r}}_p\\ {\mathbf{t}}_{\perp }& ={\mathbf{M}}_{rt}\mathbf{t}=\mathbf{t}+{\mathbf{t}}_p^{\top }{\mathbf{t}\mathbf{r}}_p\end{array}$$
由此可看到, TransH中投影的方向只取决于 $r$, 而在TransD中, 由 $e$ 和 $r$ 共同决定.

3. TransR

TransR为每个 $r$ 都分配了一个矩阵, 而TransD为每个实体和关系分配一个向量, 以向量的乘积代替矩阵, 有效减少了模型的参数量.