《Graph Representation Learning》Chapter4-Multi-relational Data and Knowledge Graphs

Multi-relational Data and Knowledge Graphs

Knowledge graph completion：给出一个多关系图 $G=(V,E)$，其中边被定义为 $e=(u,\tau ,v)$，表示两个节点间存在特定关系 $\tau \in \mathrm{T}$，这种多关系图通常被称为知识图谱。一般来说，知识图谱补全的目标是预测图，即关系预测，本章大多数方法最初都是为知识图谱补全设计的。

Reconstructing multi-relational data

与前一章相同，多关系图嵌入也可以看作重建任务。给定节点嵌入 ${\mathbf{z}}_u$ 和 ${\mathbf{z}}_v$，任务目标就是重建这两个节点间的关系，其难点在于如何处理不同类型的边。

为解决此问题，将解码器定义为接受一对节点嵌入及其关系类型，即 ${\mathbb{R}}^d\times \mathcal{R}\times {\mathbb{R}}^d\to {\mathbb{R}}^{+}$，可以将该解码器（即 $DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_v)$）的输出定义为图中存在边 $(u,\tau ,v)$ 的可能性。

RESCAL 是解决此问题的一个著名模型，它将解码器定义为：$DEC(u,\tau ,v)={\mathbf{z}}_u^T{\mathcal{R}}_{\tau }{\mathbf{z}}_v$，其中 ${\mathcal{R}}_{\tau }\in {\mathbb{R}}^{d\times d}$ 是特定于关系 $\tau \in R$ 的可学习矩阵。然后使用如下损失函数进行训练，这里称之为简单重建损失（多关系图邻接张量 $A\in {\mathbb{R}}^{|V|\times |R|\times |V|}$）：
$$\begin{gathered} \mathcal{L}=\sum _{u\in V}\sum _{v\in V}\sum _{\tau \in R}||DEC(u,\tau ,v)-A[u,\tau ,v]|{|}^2 \\ =\sum _{u\in V}\sum _{v\in V}\sum _{\tau \in R}||{\mathbf{z}}_u^T{\mathcal{R}}_{\tau }{\mathbf{z}}_v-A[u,\tau ,v]|{|}^2 \end{gathered}$$

Loss functions, decoders, and similarity functions

解码器在一对节点嵌入之间给出一个分数；

相似性函数定义了我们试图解码的节点之间相似性的类型（几乎所有多关系嵌入方法都简单地直接基于邻接张量定义相似性度量）；

损失函数告诉我们如何评估解码器输出与地面真实相似性度量之间的差异。

Loss functions

上面提到的简单重建损失有两个缺点：

1. 计算成本昂贵。上述等式中的嵌套求和需要 $O(|V{|}^2|R|)$ 次运算，当图过大时很难计算。同时，现实世界中的图往往是稀疏的，即 $|E|<<|V{|}^2|R|$，理想情况下需要一个时间复杂度为 $O(|E|)$ 的损失函数。
2. 我们的目标是从低维节点嵌入中解码邻接张量。在大多数情况下该张量仅包含二进制值，但上述等式中的均方误差不太适合这种二进制比较。事实上，均方误差是回归的自然损失，而我们的目标更接近边缘分类。

Cross-entropy with negative sampling

$$\mathcal{L}=\sum _{(u,\tau ,v)\in \epsilon }-\log (\sigma (DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_v)))-\gamma {\mathbb{E}}_{v_n\sim P_{n,u}(\mathcal{V})}[\log (\sigma (-DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_{v_n})))]$$

这里 $\sigma$ 代表 logistic 函数，$P_{n,u}(\mathcal{V})$ 表示节点集 $\mathcal{V}$ 上的负采样分布，$\gamma$ 是超参数。前半部分表示预测图中实际存在的边为“真”的对数似然（真真），后半部分表示预测图中不存在的边为“假”的对数似然期望（假假）。在实践中，期望是使用蒙特卡罗近似来评估的，这种损失最流行的形式是：
$$\mathcal{L}=\sum _{(u,\tau ,v)\in \epsilon }\left(-\log (\sigma (DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_v)))-\sum _{v_n\in {\mathcal{P}}_{n,u}}[\log (\sigma (-DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_{v_n})))]\right)$$
其中 ${\mathcal{P}}_{n,u}$ 是从 $P_{n,u}(\mathcal{V})$ 采样的一组节点。

负采样注意事项：

1. 定义分布 ${\mathcal{P}}_{n,u}$ 的最常见方法是简单地在图中的所有节点上使用均匀分布，但要注意“假负样本”问题，即这种方法可能采样出图中已存在的边（元组）。
2. 产生更多“困难（difficult、hard）”的负样本。例如，某些关系只能存在于某些类型的节点之间，因此，一种策略是仅对满足此类类型约束的负面示例进行采样。
3. 一般情况下，负采样发生在边元组中的第二个节点上。但实际上，最好同时为关系的头节点和尾节点抽取负样本。

Max-margin loss

$$\mathcal{L}=\sum _{u,\tau ,v\in \epsilon }\sum _{v_n\in {\mathcal{P}}_{n,u}}max(0,-DEC({\mathbf{z}}_u,\tau ,\mathbf{z})+DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_{v_n}+\Delta )$$

$\Delta$ 项被称为 margin，如果所有示例的分数差异至少那么大，则损失将等于 0。这种损失也称为 hinge loss。

Multi-relational decoders

RESCAL：关系计算和统计成本较高。

Translational decoders（TransE & TransX）：将关系表示为嵌入空间中的翻译。
$$TransH:DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_v)=-||({\mathbf{z}}_u-{\mathbf{w}}_{\mathbf{r}}^{\mathbf{T}}{\mathbf{z}}_{\mathbf{u}}{\mathbf{w}}_{\mathbf{r}})+{\mathbf{r}}_{\tau }-({\mathbf{z}}_v-{\mathbf{w}}_{\mathbf{r}}^{\mathbf{T}}{\mathbf{z}}_{\mathbf{v}}{\mathbf{w}}_{\mathbf{r}})||$$
Multi-linear dot products：从简单图概括点积解码器来开发多关系解码器。这种方法需要对三个向量上定义的点积进行直接概括，只能对对称关系进行编码。
$$DistMult:DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_v)=<{\mathbf{z}}_u,{\mathbf{r}}_{\tau },{\mathbf{z}}_v>=\sum _{i=1}^d{\mathbf{z}}_u[i]\times {\mathbf{r}}_{\tau }[i]\times {\mathbf{z}}_v[i]$$
Complex decoders (ComplEx & RotatE)：使用复值嵌入。
$$\begin{gathered} ComplEx:DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_v)=Re(<{\mathbf{z}}_u,{\mathbf{r}}_{\tau },{\bar{\mathbf{z}}}_v>)=Re(\sum _{i=1}^d{\mathbf{z}}_u[i]\times {\mathbf{r}}_{\tau }[i]\times {\bar{\mathbf{z}}}_v[i]) \\ RotatE:DEC({\mathbf{z}}_u,\tau ,{\mathbf{z}}_v)=-||{\mathbf{z}}_u\circ {\mathbf{r}}_{\tau }-{\mathbf{z}}_v||、{\mathbf{r}}_{\tau }[i]=e^{i{\theta }_{r,i}} \end{gathered}$$

Representational abilities

Symmetry and anti-symmetry（对称性和反对称性）：$(u,\tau ,v)\in \epsilon \leftrightarrow (v,\tau ,u)\in \epsilon$ and $(u,\tau ,v)\in \epsilon \leftrightarrow (v,\tau ,u)\notin \epsilon$

Inversion（倒置性）：$(u,{\tau }_1,v)\in \epsilon \leftrightarrow (v,{\tau }_2,u)\in \epsilon$

Compositonality（组合性）：$(u,{\tau }_1,y)\in \epsilon \wedge (y,{\tau }_2,v)\in \epsilon \leftrightarrow (u,{\tau }_3,v)\in \epsilon$

Reference: Hamilton W L. Graph representation learning[M]. Morgan & Claypool Publishers, 2020.