《Graph Representation Learning》笔记 Chapter4

系列文章
《Graph Representation Learning》笔记 Chapter2
《Graph Representation Learning》笔记 Chapter3

Reconstructing muti-relational data

RESCAL 定义了解码器
$$DEC(u,\tau ,v)=z_u^T{R}_{\tau }{z}_v$$
其中， $R_{\tau }\in {\mathbb{R}}^{d\times d}$ 是针对关系 $\tau \in R$ 的一个可学习的矩阵。
我们可以使用一个基本的重构损失来训练 embedding 矩阵 $Z$ 和关系矩阵 $R_{\tau }$
$$\begin{array}{rl}\mathcal{L}& =\sum _{u\in \mathcal{V}}\sum _{v\in \mathcal{V}}\sum _{\tau \in \mathcal{R}}\Vert DEC(u,\tau ,v)-\mathcal{A}[u,\tau ,v]{\Vert }^2\\ & =\sum _{u\in \mathcal{V}}\sum _{v\in \mathcal{V}}\sum _{\tau \in \mathcal{R}}\Vert z_u^T{R}_{\tau }{z}_v-\mathcal{A}[u,\tau ,v]{\Vert }^2\end{array}$$
其中 $\mathcal{A}\in {\mathbb{R}}^{|\mathcal{V}|\times |\mathcal{R}|\times |\mathcal{V}|}$ 是多关系图的邻接张量

Loss function

Cross-entropy with negative sampling

通过改进标准二元交叉熵损失，定义
$$\mathcal{L}=\sum _{(u,\tau ,v)\in \mathcal{E}}-log(\sigma (DEC(u,\tau ,v)))-\gamma {\mathbb{E}}_{v_n\sim P_{n,u}(\mathcal{V})}[log(\sigma (-DEC(u,\tau ,v_n)))]$$
其中 $\sigma$ 代表 logistic 函数， $P_{n,u}(\mathcal{V})$ 代表基于 $u$ 的“负样本”（没有 $\tau$ 关系的节点对）分布， $\gamma >0$ 是一个超参数。
$log(\sigma (DEC(u,\tau ,v)))$ 代表正确预测两节点间存在 $\tau$ 关系的概率对数。
${\mathbb{E}}_{v_n\sim P_{n,u}(\mathcal{V})}[log(\sigma (-DEC(u,\tau ,v_n)))]$ 代表正确预测两节点间不存在 $\tau$ 关系的概率对数。
实际操作中，由于 $P_{n,u}(\mathcal{V})$ 所包含的样本数量过大，我们采用蒙特卡洛采样方法近似计算损失
$$\mathcal{L}=\sum _{(u,\tau ,v)\in \mathcal{E}}(-log(\sigma (DEC(u,\tau ,v)))-\sum _{v_n\in {\mathcal{P}}_{n,u}}[log(\sigma (-DEC(u,\tau ,v_n)))])$$
其中 ${\mathcal{P}}_{n,u}$ 是 $P_{n,u}(\mathcal{V})$ 的小子集。

Max-margin loss

最大间隔损失定义为
$$\mathcal{L}=\sum _{(u,\tau ,v)\in \mathcal{E}}\sum _{v_n\in {\mathcal{P}}_{n,u}}max(0,-DEC(u,\tau ,v)+DEC(u,\tau ,v_n)+\Delta )$$
当正样本对的解码得分大于负样本对时我们可以获得一个很小的损失， $\Delta$ 项称为间隔，正样本解码得分需要比负样本得分大于一个间隔，才能保证 $\mathcal{L}$ 为0。

Multi-relational decoder

Reanslational decoders

TransE 模型定义为
$$DEC(u,\tau ,v)=-\Vert z_u+r_{\tau }-z_v\Vert$$
节点 u 的 embedding 向量与关系向量 r_τ 相结合后计算与节点 v 的距离，这个距离与节点间关系存在的可能性成比例。
TransX 模型定义为
$$DEC(u,\tau ,v)=-\Vert g_{1,\tau }(z_u)+r_{\tau }-g_{2,\tau }(z_v)\Vert$$
其中， $g_{i,\tau }$ 为可训练的函数。
TransH 模型定义为
$$DEC(u,\tau ,v)=-\Vert (z_u-w_r^T{z}_u{w}_r)+r_{\tau }-(z_u-w_r^T{z}_v{w}_r)\Vert$$
其中， $w_r$ 为可训练的向量。

Multi-linear dot products

定义点积解码器
$$\begin{array}{rl}DEC(u,\tau ,v)& =<z_u,r_{\tau },z_v>\\ & =\sum _{i=1}^d{z}_u[i]\times r_{\tau }[i]\times z_v[i]\end{array}$$

Complex decoders

上述点积解码器只能解码对称关系，即
$$\begin{array}{rl}DEC(u,\tau ,v)& =<z_u,r_{\tau },z_v>\\ & =\sum _{i=1}^d{z}_u[i]\times r_{\tau }[i]\times z_v[i]\\ & =<z_v,r_{\tau },z_u>\\ & =DEC(v,\tau ,u)\end{array}$$
为了解决这个问题， ComplEx 引入了复数
$$\begin{array}{rl}DEC(u,\tau ,v)& =Re(<z_u,r_{\tau },{\bar{z}}_v>)\\ & =Re(\sum _{i=1}^d{z}_u[i]\times t_{\tau }\times {\bar{z}}_v[j])\end{array}$$
其中， $z_u,z_v,r_{\tau }\in {\mathbb{C}}^d$ 为复数 embeddings ， $Re$ 代表复数向量的实数部分。这个解码器采用了共轭 embeddings ${\bar{z}}_v$ ，所以适用于非对称关系图。
RotatE 模型依然取 embeddings 为复数，引入旋转的概念
$$DEC(u,\tau ,v)=-\Vert z_u\circ r_{\tau }-z_v\Vert$$
其中 $\circ$ 代表哈达玛积， $|r_{\tau }[i]|=1,\forall i\in 1,...,d$ ，这个限制使得 $r_{\tau }[i]=e^{i{\theta }_{r,i}}$ ，使 $z_u[i],\forall i\in 1,...,d$ 能在复平面旋转。

Representational abilities

Symmetry and anti-symmetry

图中许多节点对的关系是对称的，即
$$(u,\tau ,v)\in \mathcal{E}\leftrightarrow (v,\tau ,u)\in \mathcal{E}$$
所以，反对称关系表示为
$$(u,\tau ,v)\in \mathcal{E}\to (v,\tau ,u)\notin \mathcal{E}$$
TransE 模型只能表示反对称关系，若节点 u 与 节点 v 为对称关系
$$\begin{array}{rl}DEC(u,\tau ,v)& =DEC(v,\tau ,u)\\ -\Vert z_u+r_{\tau }-z_v\Vert & =-\Vert z_v+r_{\tau }-z_u\Vert \\ \Vert z_u-z_v\Vert +\Vert r_{\tau }\Vert -2\Vert z_u-z_v\Vert \Vert r_{\tau }\Vert cos\theta & =\Vert z_v-z_u\Vert +\Vert r_{\tau }\Vert -2\Vert z_v-z_u\Vert \Vert r_{\tau }\Vert (-cos\theta )\\ \Vert r_{\tau }\Vert & =-\Vert r_{\tau }\Vert \\ \Vert r_{\tau }\Vert & =0\end{array}$$
证毕。

Inversion

逆关系为由节点 u 到节点 v 的关系 ${\tau }_1$ 可推导出由节点 v 到节点 u 的关系 ${\tau }_2$
$$(u,{\tau }_1,v)\in \mathcal{E}\leftrightarrow (v,{\tau }_2,u)\in \mathcal{E}$$

Compositionality

$$(u,{\tau }_1,y)\in \mathcal{E}\vee (y,{\tau }_2,v)\in \mathcal{E}\to (u,{\tau }_3,v)$$