mshaodw－ps模块学习

shadow－ps模块学习笔记

mshadow-ps实现了一个双层机制的参数服务器，架构如下图所示。通常一个GPU或一个CPU运行一个工作节点，一个一层服务器节点和工作节点在同一台机器上通信。不同机器之间的通信依赖二层服务器节点。

因为同机上的通信开销远远小于不同机器之间，所以通过在不同的层次之间使用不同的模型可以更好的平衡算法效率和系统性能。比如在一层使用顺序一致性模性来保障局部一致性，在二层使用最终一致性模型从而隐藏通信延时。