ICML'21 1000层GNN！单块GPU即可训练！

推荐一篇ICML 2021的GNN最新进展：如何在单块GPU上训练1000层GNN！

image-20210616221754665

论文链接：https://arxiv.org/pdf/2106.07476.pdf

GNN的高运算量极大的限制了其实际应用。为了解决这个问题，先前的工作主要集中在子图/邻居采样上，以mini-batch的形式来进行训练。

与上述工作不同，本文从另一个角度设计了 RevGNN-Deep (1001 层 with 80 channels each) 和 RevGNN-Wide (448 层 with 224 channels each)，这是目前最深的GNN，且可以在单块GPU上训练！

在ogbn-proteins数据集上，RevGNN的ROC-AUC也高达87.74 ± 0.13 和 88.14 ± 0.15。效果极佳。关于OGB信息，可以参考下面的链接。

[OGB&KDD权威竞赛] 谁是地表最强图神经网络？

下图展示了不同GNN的显存消耗 v.s. 效果。左上角的模型显存消耗少且表现更佳。RevGNN-Wide在单块11GB显卡上即可达到88%+的效果。

image-20210616222522326

下图展示了不同GNN的显存消耗 v.s. 层数。随着层数的增加，RevGNN的显存消耗基本不变。1001层的RevGNN仍然可以放在单块GPU显卡上。

image-20210616222745078