Parameter Server论文阅读笔记《Scaling Distributed Machine Learning with the Parameter Server》
工作一直在使用分布式的机器学习框架,有必要了解一些基本的原理,就先从李沐大佬的文章入手,写个笔记作为记录。主要贡献第三代开源的Parameter Server架构,具有以下特性1)高效的通信2)灵活的一致性模型3)弹性可拓展能力4)系统容错能力5)易用性工程挑战通信:访问巨量的参数,需要大量的网络带宽支持。容错:分布式计算需要较好的容错能力,failover机制。相关工作第一代的参数服务器架构VLDB 2010,灵活性和性能都比较欠缺,使用memcached存储作为同步机制。Ya
原创
2022-01-14 17:11:18 ·
674 阅读 ·
0 评论