VGAE( Variational Graph Auto-Encoder )

Variational Graph Auto-Encoders

Year: 2016
Authors: Thomas N. Kipf, Max Welling
Journal Name: NIPS

Definitions

定义含有 $N=|V|$ 个节点的无向图 $\mathcal{G}=(\mathcal{V},\mathcal{E})$ ，邻接矩阵 $A$ 和度矩阵 $D$ ，再引入 $N\times F$ 大小的隐变量矩阵 $Z=[z_1;z_2;...;z_N]$ 和 $N\times D$ 大小特征矩阵 $X$ 。

Inference model

作者采用两层 GCN 来估计推断模型的参数
$$\begin{gathered} q(Z|X,A)=\prod _{i=1}^{N}q(z_i|X,A) \\ q(z_i|X,A)=\mathcal{N}(z_i|{\mu }_i,diag({\sigma }_i^2)) \end{gathered}$$

其中， $\mu =GC{N}_{\mu }(X,A)$ 为均值向量 ${\mu }_i$ 组成的矩阵，同理 $log\sigma =GC{N}_{\sigma }(X,A)$ 。
$GCN(X,A)=\tilde{A}relu(\tilde{A}X{W}_0)W_1$ ，其中 $\tilde{A}=D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$ 为标准化后的邻接矩阵， $GC{N}_{\mu }$ 和 $GC{N}_{\sigma }$ 共享权重 $W_0$ 。

Generative model

生成模型简单的采用两个隐变量的内积
$$\begin{gathered} p(A|Z)=\prod _{i=1}^N\prod _{j=1}^{N}p(A_{ij}|z_i,z_j) \\ p(A_{ij}=1|z_i,z_j)=sigmoid(z_i^{\top }{z}_j) \end{gathered}$$

Learning

损失函数为
$$L={\mathbb{E}}_{q(Z|X,A)}[logp(A|Z)]-KL[q(Z|X,A)\Vert p(Z)]$$

其中， $p(Z)={\prod }_{i}p(z_i)={\prod }_i\mathcal{N}(z_i|0,I)$ 为高斯先验。

Non-probabilistic graph auto-encoder (GAE) model

对于 VGAE 模型的非概率变体
$$\begin{gathered} \hat{A}=sigmoid(Z{Z}^{\top }) \\ Z=GCN(X,A) \end{gathered}$$

Result

GAE* 和 VGAE* 没有使用特征 $X$ ， AUC 为 area under the ROC curve ， AP 为 average precision 。