第十一周.01.GNN sampling

本文内容整理自深度之眼《GNN核心能力培养计划》
公式输入请参考： 在线Latex公式

Cluster-GCN: An Efficient Algorithm for Training Deep and large graph Convolutional Networks
作者：Wei-Lin Chiang、 Xuanging liu、 SiSi、Yang li、 Samy bengio、 Cho-Jui Hsieh
出处：KDD 2019
原文代码
还有一篇额外参考，清华大学的VRGCN

摘要

先讲现状和现有的问题
现状：GCN很不错
Graph convolutional network (GCN) has been successfully applied to many graph-based applications;

转折：大规模节点的图不好弄
however, training a large-scale GCN remains challenging.

现有的SGD算法计算成本很大
Current SGD-based algorithms suffer from either a high computational cost that exponentially grows with number of GCN layers, or a large space requirement for keeping the entire graph and the embedding of each node in memory.

本文提出了Cluster-GCN。。。。
In this paper, we propose Cluster-GCN, a novel GCN algorithm that is suitable for SGD-based training by exploiting the graph clustering structure.

Cluster-GCN的工作原理是。。。。
Cluster-GCN works as the following: at each step, it samples a block of nodes that associate with a dense subgraph identified by a graph clustering algorithm, and restricts the neighborhood search within this subgraph.

这样做的好处是。。。。
This simple but effective strategy leads to significantly improved memory and computational efficiency while being able to achieve comparable test accuracy with previous algorithms.

实验环境咋整的
To test the scalability of our algorithm, we create a new Amazon2M data with 2 million nodes and 61 million edges which is more than 5 times larger than the previous largest publicly available dataset (Reddit).

3层效果是SOTA的
For training a 3-layer GCN on this data, Cluster-GCN is faster than the previous state-of-the-art VR-GCN (1523 seconds vs 1961 seconds) and using much less memory (2.2GB vs 11.2GB).

SOTA还不够，还要秀一把别的模型都玩不起（out-of-memory）的玩法4层
Furthermore, for training 4 layer GCN on this data, our algorithm can finish in around 36 minutes while all the existing GCN training algorithms fail to train due to the out-of-memory issue.

4层还不够，5层也玩得飞起，还破了PPI的SOTA
Furthermore, Cluster-GCN allows us to train much deeper GCN without much time and memory overhead, which leads to improved prediction accuracy—using a 5-layer Cluster-GCN, we achieve state-of-the-art test F1 score 99.36 on the PPI dataset, while the previous best result was 98.71 by GaAN

Introduction

这里原文总结了GCN的三个要点，

1. memory requirement
2. time per epoch
3. convergence speed (loss reduction) per epoch.

第一个要点限制算法的扩展性
后两个决定了模型训练的速度

然后给出notation：
$b$表示batch的大小
$N$表示图中的节点数；
$F$表示embedding的维数；
$L$表示GCN的层数

然后给出几个经典算法的复杂度

模型	GD算法	复杂度	内存使用	特点	收敛速度
GCN	Full-batch GD	$O(NFL)$	所有节点都在内存，需要较多内存	所有点的信息都在内存，每个epoch计算比较高效	每个epoch只更新一次参数，收敛速度慢
GraphSAGE	Mini-batch SGD	与L有指数关系	每次只放一个batch，需要较少内存	在获取邻居信息来计算当前节点loss比较麻烦，计算低效	一个epoch更新多次，收敛速度快
VR-GCN		$O(NFL)$	需要存储所有节点的中间的embeddings，需要内存较多	高效	快
Cluster-GCN		与L成线性关系	$O(bFL)$	高效	快

最后总结了本文模型的几个优点：
1.内存使用非常nice；
2.计算复杂度与层数L成线性关系；
3.可以构成又深又大规模的网络。

BACKGROUND

不写了，就是GCN公式来一套。

PROPOSED ALGORITHM

这里再次把上面的表格重新展开，逐个分析现有算法的缺点。主要是空间、计算复杂度的比较

原始GCN

Full-batch GD需要存储所有节点的embedding矩阵： { Z ( l ) } l = 1 L \{Z^{(l)}\}_{l=1}^L {Z(l)}l=1L​
空间复杂度：$O(NFL)$
由于模型在每个epoch才更新一次，所以需要很多个epoch才能收敛。

原始mini-batch SGD

虽然mini-batch SGD在一个epoch会更新多次，所以收敛速度上要快很多。
但是mini-batch SGD计算节点embedding过程会有额外开销。下面以某一个节点$i$的loss计算为例来说明：
$$\nabla \text{loss}(y_i,z_i^{(L)})$$
公式中显示需要节点$i$的embedding$z_i$，而$z_i$的计算依赖于它的邻居的embeddings，然后还有邻居的邻居的embeddings。
假设一个$L$层GCN网络，每个节点的平均度数为$d$，为了获得节$i$的embedding$z_i$，需要聚合$O(d^L)$个节点的特征，相当于取hop-k跳的邻居信息来进行一次更新。而且每一次$F$维embedding计算要和$F$维的参数$W^{(l)}$，计算复杂度就是$O(F^2)$，合起来一个节点玩一次梯度计算，时间复杂度是：$O(d^L{F}^2)$，图中有N个点，那么就是：$O(N{d}^L{F}^2)$

Embedding utilization

这个概念第一次看到，意思是特征的利用率，如果有学过Oracle数据库优化就知道，频繁的从硬盘读取数据是很慢的，要是能把常常查询的数据放到内存中，那么查询效率就会变高，就好比卖衣服的会把最热门的，最流行的衣服放到进门那里，美其名曰：热销爆款。这些个做法就是提高数据或者衣服的利用率或者曝光率，使得用户或者顾客很快拿到数据或衣服。
可以看到，上面的原始mini-batch SGD，Embedding utilization非常差，其正式定义为：
节点$i$在第$l$层的embedding:$z_i$ 在计算第$l+1$层的embeddings时被重用的次数$u$
mini-batch SGD是随机抽样的，而且图比较大且稀疏，u非常小（很小的常数，代表没有重用），那么mini-batch SGD每个batch需要计算的embedding个数为：$O(b{d}^L)$
每个batch的时间复杂度为：$O(b{d}^L{F}^2)$
整个epoch的时间复杂度是：$O(N{d}^L{F}^2)$

对于Full-batch GD，每个embedding可在$l+1$层重复使用$d$(平均度数)次
每个epoch需要计算的embedding个数为：$O(NL)$

Embedding utilization是本文模型思路的核心，务必理解。

改进mini-batch SGD

GraphSAGE就是使用的改进mini-batch SGD，它对邻居的扩展做了限制，每次均匀地采样一个固定大小的邻居集。如果把采样大小记做$r$，那么：
改进mini-batch SGD每个batch需要计算的embedding个数为：$O(b{r}^L)$，这样玩会使得loss估计的准确度降低。

3.1 Vanilla Cluster-GCN

模型的目标：设计一个batch和相应的计算子图来最大限度地提高embedding utilization。

左边是GCN，右边是本文模型，可以看到本文模型通过聚类，简化了部分边。

例子：
在每个batch中，计算来自于第1层到第$L$层的节点集合$\mathcal{B}$的embeddings。
取仅由$\mathcal{B}$组成的子图，集合$\mathcal{B}$之外的点忽略掉：$$A_{\mathcal{B},\mathcal{B}}$$
上面那个$A$实际上就是$\mathcal{B}$组成的子图的邻接矩阵，整个batch的Embedding utilization就是邻接矩阵的非零元素：
$$||A_{\mathcal{B},\mathcal{B}}|{|}_0$$
要想使得Embedding utilization最大，就要使得邻接矩阵里面的边越稠密越好。
就是设计一个batch 节点集合$\mathcal{B}$来最大化batch内的边的数量。
有了这个思想，就可以来看Cluster-GCN了。
对于一个图$G$，可以把它的节点分成$c$个组：$V=[V_1,...,V_c]$，也就是$c$个子图：
G ˉ = [ G 1 ​ , . . . , G c ​ ] = [ { V 1 ​ , ε 1 ​ } , . . . , { V c ​ , ε c ​ } ] \bar G=[G_1​ ,...,G_c​ ]=[\{V_1​ ,\varepsilon_1​\},...,\{V_c​ ,\varepsilon_c​ \}] Gˉ=[G1​​,...,Gc​​]=[{V1​​,ε1​​},...,{Vc​​,εc​​}]
其中每个${\epsilon }_t$只包含在节点集合$V_t$中的节点间的边。
表示成数学：
原始的邻接矩阵是$A$
然后切成$c^2$份：
$$A=\left[\begin{array}{ccc}{A}_{11}& \cdots & A_{1c}\\ ⋮& \ddots & ⋮\\ A_{c1}& \cdots & A_{cc}\end{array}\right]=\bar{A}+\Delta =\left[\begin{array}{ccc}{A}_{11}& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & A_{cc}\end{array}\right]+\left[\begin{array}{ccc}0& \cdots & A_{1c}\\ ⋮& \ddots & ⋮\\ A_{c1}& \cdots & 0\end{array}\right]$$
这里的$\bar{A}$里面的只有对角线有值，每个元素就是一个子图的邻接矩阵，模型使用$\bar{A}$进行计算，就不用考虑每个子图之外的边。
然后还要对子图$\bar{A}$进行归一化后，变成：${\bar{A}}^{\prime }$
${\bar{A}}^{\prime }$每个子图${\bar{A}}_{tt}^{\prime }$做一个batch计算，就得到原文的公式6。

原文提到两种图聚类算法：Metis和Graclus，上面的$\Delta$就相当于聚类后类间的边，这些是丢掉了的，因此计算复杂度相对于mini-batch SGD的指数级变成线性级于层数$L$了。

3.2 Stochastic Multiple Partitions

分析本文模型有两个问题：
1.计算过程丢了一些边，会影响结果
2.聚类后的数据分布可能不同于原始数据集，会导致在执行SGD更新时对梯度的估计会有偏差

后面给出一点点解决方案。

待续。