NetGan

1. Introduction

问题

Dong, Yuxiao, Johnson, Reid A, Xu, Jian, and Chawla,
Nitesh V. Structural diversity and homophily: A study
across more than one hundred big networks. In Proceedings of the 23rd ACM SIGKDD International Conference
on Knowledge Discovery and Data Mining, pp. 807–816.
ACM, 2017.

Broido, Anna D and Clauset, Aaron. Scale-free networks
are rare. arXiv preprint arXiv:1801.03400, 2018

文章提出现实世界的网络存在的特征，质疑已建立的模型的有效性。引导我们进入一个问题：“我们如何定义一个模型来捕捉真实图的所有本质的（潜在的未知）性质？”

方法

• 显示模型转换为隐式模型

• 大多数图数据的分布都各不一样，这意味着，在典型的设置中必须从单一图去学习。

• 任何在图上操作的模型都必须是置换不变(permutation invariant)的，因为图在节点重排序下是同构的。

NetGAN

NetGAN：学习图拓扑结构的问题视为学习图上带偏置随机游动的分布。
* 这是第一个通过随机游动生成图的GAN结构
* 保留了重要的拓扑性质，而不必在模型定义中显式地指定它们
* 链接预测能力不错

2. Related work

Liu, Weiyi, Chen, Pin-Yu, Cooper, Hal, Oh, Min Hwan,
Yeung, Sailung, and Suzumura, Toyotaro. Can GAN
learn topological features of a graph? arXiv preprint
arXiv:1707.06197, 2017.
提出了一种用于学习子图拓扑特征的GAN结构

Tavakoli, Sahar, Hajibagheri, Alireza, and Sukthankar, Gita.
Learning social graph topologies using generative adversarial neural networks. 2017.
将GANS应用于图数据,直接生成邻接矩阵。

相比之下，NetGAN直接产生随机游走，只考虑邻接矩阵中的非零项，有效利用真实图的稀疏性。

Wang, Hongwei, Wang, Jia, Wang, Jialin, Zhao, Miao,
Zhang, Weinan, Zhang, Fuzheng, Xie, Xing, and
Guo, Minyi. GraphGAN: Graph representation learning with generative adversarial nets. arXiv preprint
arXiv:1711.08267, 2017

缺点：这种生成图的方法产生的样本不保留任何真实世界网络固有的模式。

之前的一些图上的生成方法：这些方法只用来捕获和再现一些预定义的图属性子集(例如，度分布、社区结构、聚类系数)。
用来跟NetGAN在图生成和链接预测上做比较。

3. Model

NetGAN的核心思想在于通过学习随机游走的分布来捕获图形的拓扑结构。

训练集是长度为$T$的在邻接矩阵上产生的随机游走。

• 采用有偏置的二阶随机游走抽样策略(引于node2vec)。利用随机游走的一个重要优点是它们在节点重排序下的不变性。 另一个是是利用邻接矩阵的非零项，有效利用了图的稀疏性。

结构

生成器：产生随机游走序列：$(v_1,v_2,....,v_T)\sim G$。$G$ 的实现是函数