知识图谱补全模型与超参数整理

本篇整理几种常见的知识图谱补全模型的原理以及对应的超参数。

RESCAL

论文出处：A three-way model for collective learning on multi- relational data, ICML 2011

这是一种基于张量分解方法的嵌入模型。发表的年份非常早。原文中并没有提及学习率等超参数。

TransE

论文出处：Translating Embeddings for Modeling Multi-relational Data

TransE模型算是最经典被使用最多的基于嵌入技术的知识图谱补全模型。基本假设也非常优美，以$\Vert h+r-t \Vert_p$ 作为评分函数。如果$(h, r,t)$ 能够成为三元组，那么这个评分应该足够低。

可调超参数：

• 学习率：在原文中，学习率对数据集Wordnet, FB15k, FB1M 均为0.01。
• KG向量的维度
• margin：因为TransE使用了margin ranking loss，因此margin是一个重要超参数。原文给出的搜索范围是${1, 2, 10}$
• p：使用范数作为打分函数，那么使用1范数还是2范数这也是一个可以调整的超参数

DistMult

论文出处：Embedding Entities And Relations For LearnIng And Inference In Knowledge Bases

这是一种双线性模型。将头尾实体表示成向量之后，把关系表示成一个对角矩阵，并且有对应的打分函数$s = \textbf{y}{e1}^T\textbf{M}{r} \textbf{y}_{e2}$

依然使用MarginLoss来优化。

超参数：

• Learning Rate：0.1
• Optimizer: AdaGrad
• L2正则化因子：0.0001
• Training Epoch：300 for WordNet，100 for FB15k and FB15k-401

ComplEx

论文出处：Complex Embeddings for Simple Link Prediction

ComplEx将实体和关系嵌入到复数空间中，并且开发了一个相应的打分函数。同时，提出了一个基于Softplus和$L_2$正则化的Loss函数

$$
min\sum_{r(s, o)\in \Omega} \log(1+\exp(-\textbf{Y}_{rso}(\phi(s, r, o;\Phi))))+\lambda\Vert\Theta\Vert_2^2
$$

$\lambda$ 作为两部分loss的平衡因子。原文在${0.1, 0.03, 0.01, 0.003, 0.001, 0.0003, 0.00001, 0.0}$ 之间进行调整。

在模型训练方面，使用SGD优化器，但并没有提供相应的学习率信息。

SimplE

论文出处：SimplE Embedding for Link Prediction in Knowledge Graphs

这是一种基于CP分解（Canonical Polyadic (CP) decomposition）的嵌入模型。

训练的Loss和ComplEx类似

超参数

• Epoch：1000
• batch size：100
• Learning Rate：0.1 for WN18 and 0.05 for FB15k
• Optimizer: AdaGrad
• Embedding Size: 200 for WN18RR, FB15k
• $\lambda$ search from ${0.1, 0.001, 0.03}$

RotatE

论文出处：Rotate: Knowledge Graph Embedding By Relational Rotation In Complex Space

这是一种将头尾实体之间的关系建模为旋转操作的KGE模型

训练loss形式：

$$
\mathcal{L} = -\log\sigma(\gamma-d_r(v_h, v_t))-\sum p(h’{i}, r, t’i)\log\sigma (d{r}(v{h’}, v_{t’})-\gamma)
$$

超参数主要跟loss有关系：

• Embedding Dimension: ${125, 250, 500, 1000}$
• Batch Size: ${512, 1024, 2048}$
• self-adversarial sampling temperature $\alpha \in {0.5, 1.0}$
• margin $\gamma \in {3, 6, 9, 12, 18, 24, 30}$