DW_图深度学习_Task_5

DW_图深度学习_Task_5
学习内容：超大图上的节点表征学习
学习地址： github/datawhalechina/team-learning-nlp/GNN/

本节内容主要是基于Cluster-GCN论文，研究讨论在超大图上

Cluster-GCN方法

常规方法的瓶颈

在以往的训练方法中，对所有节点的表征计算以及所有节点损失产生梯度的计算都回占用大量的算力和显存开销、这样的资源使用情况对于超大图的表征学习是致命的。

简单的Cluster-GCN方法

Cluster-GCN考虑设计一种划分超大图节点为多个batch的方法，使得表征利用率最大，这样我们就能通过对子图进行训练从而得到接近全图的结果

为了最大限度地提高表征利用率，理想的划分batch的结果是，batch内的边尽可能多，batch之间的边尽可能少。

聚类分区与随机分区

在对超大图进行划分的时候，我们对聚类分区与随机分区的时空复杂度进行了比较，与随机划分相比，采用聚类划分得到的大多数簇熵值都很小。

为了解决上述问题，Cluster-GCN论文提出了一种随机多簇方法，此方法首先将图划分为$p$个簇，${\mathcal{V}}_1,\cdots ,{\mathcal{V}}_p$，$p$是一个较大的值，在构建一个batch时，不是只使用一个簇，而是使用随机选择的$q$个簇，表示为$t_1,\dots ,t_q$，得到的batch包含节点$\left\{{\mathcal{V}}_{t_1}\cup \cdots \cup {\mathcal{V}}_{t_q}\right\}$ 、簇内边 { A i i ∣ i ∈ t 1 , … , t q } \left\{A_{i i} \mid i \in t_{1}, \ldots, t_{q}\right\} {Aii​∣i∈t1​,…,tq​}和簇间边 { A i j ∣ i , j ∈ t 1 , … , t q } \left\{A_{i j} \mid i, j \in t_{1}, \ldots, t_{q}\right\} {Aij​∣i,j∈t1​,…,tq​}。此方法的好处有，

• 不会丢失簇间的边
• 会有很大的batch内类别分布的偏差、
• 以及不同的epoch使用的batch不同，这可以降低梯度估计的偏差。

Cluster-GCN实践

在Cluster-GCN实践阶段，我尝试使用多GPU进行分布式训练，但是出现了异常 ，这个问题尚未解决，需要继续研究问题出在哪儿