训练更深和更大的图神经网络

目录

1. 引言

2. 任务回顾：图节点表征学习

3. GCN 训练算法

3.1 Full-batch gradient descent

3.2 Mini-batch SGD

3.3 Cluster-GCN

4. Cluster-GCN实践

4.1 数据集载入和分析

4.2 图节点聚类与数据加载器生成

4.3 图神经网络的构建

4.4 训练、验证与测试

5. 拓展分析（作业）：聚类数目对训练过程和结果的影响

参考资料

---

1. 引言

深度学习的成功经验告诉我们，更多的训练数据、更深的网络结构能够达到更高的性能。然而，普通的基于 SGD（随机梯度下降）的方法在训练大规模 GNN（图神经网络）时面临着两个难以忍受的问题（资源消耗随图神经网络层数呈指数型增长）：训练时间长、消耗空间大。

为了降低训练模型时的资源消耗、提高训练速度，进而拓展图神经网络模型的泛用性，提出更高效的训练方法是非常有必要的。综上，本文将介绍并比较几种主流的新训练方法，并对其中最有效的 Cluster-GCN 方法开展 Python 实践。

2. 任务回顾：图节点表征学习

GNN 能够应用于许多基于图的任务，比如节点分类、链接预测和推荐系统等，而这些任务的完成主要依赖于图节点表征（node embedding）学习的好坏。

以流行的图神经网络模型 GCN 为例，它 使用一个图卷积运算（收集相邻节点的表征）逐层获得节点表征ÿ