题目:Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis
图神经网络的并行与分布式执行:深入并发性分析
作者:Maciej Besta 和 Torsten Hoefler
摘要
图神经网络(GNNs)是深度学习中最强大的工具之一。它们通常在无结构网络上解决复杂问题,如节点分类、图分类或链接预测,准确度很高。然而,GNNs 的推理和训练都很复杂,并且它们独特地结合了不规则图处理的特征与密集和规则计算。这种复杂性使得在现代大规模并行架构上有效执行 GNNs 变得非常具有挑战性。为了缓解这个问题,我们首先设计了一个 GNNs 中并行性的分类法,考虑了数据和模型并行性以及不同形式的流水线处理。然后,我们使用这个分类法来研究众多 GNN 模型、由 GNN 驱动的机器学习任务、软件框架或硬件加速器中的并行性量。我们使用了