[PaperReading]*PSGraph: How Tencent trains extremely large-scale graphs with Spark?
摘要
腾讯TEG在大数据机器学习以及数据挖掘方面,基于Spark,结合参数服务器PS开发了新平台Angel,在图计算方面对比Spark GraphX形成了新的训练模式,结合PS对参数的更新迭代,分布式环境下的数据通信做了新的设计。GraphX在分布式数据通信时,使用join操作导致多个worker之间的数据shuffle,使得模型更新变慢,而且临时数据导致空间利用率下降。而PSGraph使用PS可以有效降低这方面的时空消耗。
模型介绍
论文把图上的问题分为3类:
传统的图算法:PageRank,KCore
原创
2020-08-09 19:23:33 ·
549 阅读 ·
1 评论