Translating embeddings for modeling multi-relational data

Translating embeddings for modeling multi-relational data

0. 目的

将多关系数据中的实体和关系嵌入到低维空间中去表示

1. 总结

提出一种基于翻译的模型 TransE, 将 relation(关系) 看作是在低维空间中由 head entity(头实体) 到 tail entity(尾实体) 的一种翻译

2. 主要思想

• 对于正确的关系 $l_t$, 使得 $d(\mathbf{h}+{\mathbf{l}}_{\mathbf{t}},\mathbf{t})$ 接近于0
• 对于错误的关系 $l_f$, 使得 $d(\mathbf{h}+{\mathbf{l}}_{\mathbf{f}},\mathbf{t})$ 尽可能大

其中 $d(\mathbf{a},\mathbf{b})$ 表示 $\mathbf{a}$ 和 $\mathbf{b}$ 的相似度($L_1$范数 或 $L_2$范数)

3. 方法

优化目标: margin-based loss fuction​
$$L=\sum _{(h,r,t)\in \mathcal{S}\left(h^{\prime },r,t^{\prime }\right)\in {\mathcal{S}}^{\prime }}\max \left(0,f(h,r,t)+\gamma -f\left(h^{\prime },r,t^{\prime }\right)\right)$$
其中$f(h,r,t)$表示正样本, $f\left(h^{\prime },r,t^{\prime }\right)$表示负样本. $\gamma$为 $margin$, 表示正样本的分数要比负样本分数高出多少.

TransE​ 算法如下, 其中 $uniform$ 表示均匀分布.

4. Question

• 在 1-N, N-1, N-N 关系上评估结果方差特别大, 不能处理这三种关系