Graph Embedding——(5)SDNE理论

SDNE理论

1)理论

SDNE（Structural Deep Network Embedding ）是和node2vec并列的工作，均发表在2016年的KDD会议中。可以看作是基于LINE的扩展，同时也是第一个将深度学习应用于网络表示学习中的方法。

之前的Deepwalk，LINE，node2vec，struc2vec都使用了浅层的结构， 浅层模型往往不能捕获高度非线性的网络结构。即产生了SDNE方法， 使用多个非线性层来捕获node的embedding。

SDNE使用一个自动编码器结构来同时优化1阶和2阶相似度(LINE是分别优化的)。简单来说，一阶相似度衡量的是相邻的两个顶点对之间相似性。二阶相似度衡量的是，两个顶点他们的邻居集合的相似程度。

2)优化目标

二阶相似度优化

$$L_{2nd}=\sum _{i=1}^n||{\hat{x}}_i-x_i|{|}_2^2$$

这里我们使用图的邻接矩阵$S$进行输入，SDNE直接使用一个深度自编码器，学习网络邻接矩阵的编码与重构。对于第$i$个顶点，有$x_i=s_i$，每一个$s_i$所以这样的重构过程能够使得结构相似的顶点具有相似的embedding表示向量。

文章给出的一个方法是使用带权损失函数，对于非零元素具有更高的惩罚系数。 修正后的损失函数为：
$$L_{2nd}=\sum _{i=1}^n||({\hat{x}}_i-x_i)\odot {\mathbf{b}}_{\mathbf{i}}|{|}_2^2=||({\hat{X}}_i-X_i)\odot \mathbf{B}|{|}_2^2$$
其中，$\odot$为逐元素积， b i = { b i , j } j = 1 n {\bf b_i}=\lbrace{b_{i,j}}\rbrace ^n_{j=1} bi​={bi,j​}j=1n​，若$s_{i,j}=0$，则$b_{i,j}=1$，否则$b_{i,j}=\beta >1$

一阶相似度优化

针对一阶相似度的损失函数，其实很直接，因为我们最终是将自编码器的隐层当作最终的节点Embedding。

对于一阶相似度，损失函数定义如下：
$$L_{1st}=\sum _{i,j=1}^n{s}_{i,j}||{{\mathbf{y}}_{\mathbf{i}}}^{(K)}-{{\mathbf{y}}_{\mathbf{j}}}^{(K)}|{|}_2^2=\sum _{i,j=1}^n{s}_{i,j}||{\mathbf{y}}_{\mathbf{i}}-{\mathbf{y}}_{\mathbf{j}}|{|}_2^2$$
$L_{1st}$还可以表示为：
$$L_{1st}=\sum _{i,j=1}^n{s}_{i,j}||{\mathbf{y}}_{\mathbf{i}}-{\mathbf{y}}_{\mathbf{j}}|{|}_2^2=2tr(Y^{T}LY)$$
其中$L$是图对应的拉普拉斯矩阵，$L=D-S$，$D$是图中顶点的度矩阵，$S$是邻接矩阵，$D_{i,i}=\sum _j{s}_{i,j}$

整体优化目标

联合优化的损失函数为 :
$$L_{mix}=L_{2rd}+\alpha L_{1st}+\nu L_{reg}$$
$L_{reg}$是正则化项，$\alpha$为控制一阶损失的参数，$\nu$为控制1阶损失的参数。
$$L_{reg}=\frac{1}{2}\sum _{k=1}^k(||W^{(k)}|{|}_F^2+||{\hat{W}}^{(k)}|{|}_F^2)$$

Graph Embedding——(1)DeepWalk理论
Graph Embedding——(2)LINE理论
Graph Embedding——(3)Node2vec理论
Graph Embedding——(4)Struc2vec理论
Graph Embedding常见类型的理论详解