【论文笔记】Structural Deep Network Embedding

Structural Deep Network Embedding
https://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdf
本文介绍图嵌入的一种方法——SDNE，用深度神经网络来做图嵌入，以下主要摘录论文以及记录一点个人理解。

摘要

1. network embedding，是为网络中的节点学习出一个低维表示的方法。
2. 目的在于在低维中保持高度非线性的网络结构特征，但现有方法多采用浅层网络不足以挖掘高度非线性，或同时保留局部和全局结构特征。
3. 本文提出一种结构化深度网络嵌入方法，叫SDNE
4. 该方法用半监督的深度模型来捕捉高度非线性结构，通过结合一阶相似性(监督)和二阶相似性(非监督)来保留局部和全局特征。

前言

1. 从网络中挖掘信息很重要，通常用学习网络表示的方法来实现，即将网络嵌入低维空间，为每个节点学习一个向量表示。
2. 学习网络表示的难点：(1)高度非线性；(2)局部和全局结构保持；(3)稀疏
3. 现有方法多采用浅层模型，如IsoMAP、Laplacian Eigenmaps、LINE等，缺少挖掘高维的能力
4. 我们用深层模型解决highly non-linear结构的问题
5. 我们结合一阶相似性(直连)和二阶相似性(隔一个)的方法，构建一个半监督模型来保留局部、全局结构特征，并缓解稀疏问题

相关工作

这部分简单介绍了下Deep Neural Network和Network Embedding的研究现状，表示自己的不同之处在于——学习可用于其他任务的网络低维表示、保留局部全局结构特征、挖掘高度非线性特征、明确的学习目标等。

SDNE

1. 定义

   • 图：$G=(V,E)$；
   • 结点： V = { v 1 , . . . , v n } V=\{v_1,...,v_n\} V={ v1​,...,vn​}；
   • 边： E = { e i , j } i , j = 1 n E=\{e_{i,j}\}^n_{i,j=1} E={ ei,j​}i,j=1n​；
   • 权：$s_{i,j}\ge 0$
   • 一阶相似性：即$s_{i,j}$
   • 二阶相似性： N u = { s u , 1 , . . . , s u , ∣ V ∣ } \mathcal{N}_u=\{s_{u,1},...,s_{u,|V|}\} Nu​={ su,1​,...,su,∣V∣​}表示结点$v_u$与其他结点的一阶相似性，则二阶相似性为${\mathcal{N}}_u$和${\mathcal{N}}_v$的关系
   • 解释：二阶相似性表达了两个不直接相连的结点的关系，可以实现保持全局网络结构并缓解稀疏问题
   • 网络嵌入：学习一个映射函数 f : v i ↦ y i