本文探讨了如何对大规模图数据进行分布式训练，重点介绍了DeepGCNs模型，这是一种解决深层图卷积网络优化问题的方法。通过分割子图和并行轮次的策略，实现在幻方萤火集群上的高效训练。实验表明，这些方法能够加快模型收敛，提高训练效率。
DeepGCNs
图（Graph）数据在现实世界中非常常见，例如社交网络、交通网络、物理系统等等，近几年图神经网络的发展将图数据的分析与深度神经网络结合，在越来越多的领域发挥出重要的作用，例如电商推荐、生物化学结构分析、反恐反诈风险控制等等。数据规模也呈现越来越大之势，动辄上千万节点规模的图，让很多图神经网络的训练需要探寻并行计算的方式以加速。
然而，图数据与视觉、自然语言等领域的数据不同，没有划分好的训练样本，很多情况下训练样本是从一个巨大的图中去随机采样，特征也需要在采样的过程中遍历邻接节点，这种天然特性使得对大规模图的并行训练并不容易。
幻方AI最近尝试对图神经网络的并行训练进行优化，以 OGB 图数据集作为训练样本，在幻方萤火集群上复现 DeepGCNs 的实验。基于幻方自研的3FS、hfreduce等工具，采用灵活的分布式训练方法，进行不同任务场景下的 GNN 训练提速，取得预期效果。本期文章将为大家详细描述。
论文标题：DeepGCNs: Can
最低0.47元/天 解锁文章
1368
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
