可伸缩分布式ML的Parameter Server的学习笔记-1

一：PS架构的概要

        a)数据和工作任务都会在work nodes之间分布，Server维持GSP，并且通过稀疏、稠密向量或者矩阵来表示

        b)框架异步管理数据的交互处理，支持灵活一致性数据模型，弹性可伸缩，持续的失败容错

二：架构设计难题

       分布式优化和推理，需要实现分布式高效算法

       a.密集的计算任务

       b.需要传输的数据量

需要解决的问题

      1.存取参数，需要巨大的网络带宽

       2.许多机器学习算法都是顺序的，所以结果栅栏在同步阶段会严重损伤性能，机器延迟度很高

       3.在可伸缩性方面，失败容错是基本保证，而学习性任务在云环境下，机器通常是不可靠的，并且被抢占。