文献阅读（17）KDD2016-Structural Deep Network Embedding

学徒刘猛

已于 2022-10-28 12:19:23 修改

阅读量600

点赞数

分类专栏：文献阅读文章标签：人工智能深度学习

于 2020-04-16 14:23:53 首次发布

本文链接：https://blog.csdn.net/CSDNTianJi/article/details/105557064

版权

文献阅读专栏收录该内容

87 篇文章 31 订阅

订阅专栏

本文是对《Structural Deep Network Embedding》一文的浅显翻译与理解，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《Structural Deep Network Embedding》

——KDD2016

Author: DaiXin Wang

总结

文章提出了SDNE(Structural Deep Network Embedding)算法，该算法使用半监督学习，一方面用监督学习从邻接矩阵中得到表示一阶相似度的局部结构，一方面用无监督学习得到表示二阶相似度的全局结构，首次将深度学习模型引入到网络表示学习中。

1 定义

对图G=(V,E)，每条边e存在权重s_ij>=0，当节点i和j之间无连接时，s为0，其余情况都大于0，具体值视有向图和无向图变化。

对一阶相似度，若两节点之间存在边，即s>0，则视为节点间存在一阶相似度。
对二阶相似度，给出节点u的邻居序列Nu={s_u1,…,s_u|V|}，则节点u与v各自邻居序列的相似程度即为二阶相似度。
则目标函数即使得嵌入yi和yj之间的相似性，能够清晰表达节点i和j之间的一阶和二阶相似度。

文章提出了半监督的深度模型，为捕捉高阶非线性网络结构，用多层非线性映射函数构成模型，框架如图所示：
在这里插入图片描述
对每个节点，模型的有监督部分学习节点一阶相似度，无监督部分学习节点的二阶相似度。
下表为所需符号的定义：

2 二阶相似度

对二阶相似度，给出邻接矩阵S，可引入传统的深度自编码器来保持二阶相似度。
深度自编码器分为两部分，编码器和解码器。编码器由多层非线性函数组成，将输入数据映射到表征空间中；解码器同样由多层非线性函数组成，将表征从表征空间映射到重构空间中。给出输入Xi，每一层的隐藏表征为：
在这里插入图片描述
得到yi(k)后，就可以通过逆转编码器的计算过程，从而得到输出^Xi，自编码器的目的就在于最小化输入和输出之间的重构误差，损失函数如下：

如果直接将输入x等同于邻接矩阵S，虽然拥有相似邻居结构的节点能够有相似的节点表征，但事实上邻接矩阵中的边，是可以被观察到的一部分，在网络结构中，还有很多边没有被观察到。这就导致邻接矩阵中非0值要比0少得多，过于稀疏，如果直接作为输入，更容易将S中的0值重构。
为解决此问题，算法为非0值加入了更多的罚项，则损失函数变化如下：
在这里插入图片描述
中间的运算操作即哈达玛积，对bi，当s_ij=0，b_ij=1，否则b_ij=β>1。

3 一阶相似度

一阶相似度的损失函数借鉴了拉普拉斯特征映射，当相似节点映射较远时会得到罚项，从而能够保持一节相似度，函数如下：
在这里插入图片描述
对一阶和二阶相似度的损失函数进行共同最小化，即：

其中Lreg为防止过拟合的正则化L2范数，定义如下：

4 优化

对上述损失函数进行优化，即求Lmix关于两个W矩阵的偏导数，即：
在这里插入图片描述
以下为具体拆分推导：

至此，关于L2nd的偏导数部分，就已经得到，接下来进行L1st的偏导数部分推导，首先有：

对Lreg的偏导数通过上文公式易得，至此，就得到了参数的偏导数部分。给出一个初始化的参数，可以使用随机梯度下降进行优化，但由于模型的高阶非线性，可能会得到局部最优。因此，算法引入了深度置信网络对参数进行预训练，可以视为基本参数初始化。
算法全过程如下：
在这里插入图片描述
输入为图G=(V,E)，邻接矩阵S，参数a和v；输出为网络表征Y和更新后的参数θ。
首先在深度置信网络中进行预训练得到初始化参数，令X=S，重复以下步骤直到收敛：根据式(1)得到^X和Y=Yk，得到损失函数Lmix，根据式(6)进行反向传播，得到更新后的参数θ。
至此，就得到了网络表征Y。