论文名称:GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings
论文链接:https://www.aminer.cn/pub/60bdde338585e32c38af510f
推荐人:王聪
导读:本文提出了GNNAutoScale (GAS),一个用于将任意规模的消息传递图神经网络扩展到大型图的框架。GAS通过利用以前训练迭代的历史嵌入来修剪计算图的整个子树,导致GPU内存在输入节点大小上的消耗不变,而不会丢失任何数据。现有的解决方案由于边缘的子采样或不可训练的传播而削弱了消息传递的表达能力,本文的方法可以证明保持原始GNN的表达能力。本文通过提供历史嵌入的近似误差边界来实现这一点,并展示如何在实践中收紧它们。研究结果:本文提出的框架PyGAS,是PyTorch Geometric的一个易于使用的扩展,既快速又高效的内存使用,学习节点的表示能力,类似于它们的非缩放对应的性能,并在大规模图上达到最先进的性能。
注册AMiner,让AI帮你理解科学:AMiner - AI赋能科技情报挖掘