参数服务器（PS）

参数服务器（parameter server）

作用：用来管理和共享模型参数，将模型参数存储在一个或多个中央服务器上，并通过网络将这些参数共享给参与训练的各个计算节点

PS架构中有两个角色：parameter server和worker

parameter server将被视为master节点，保存模型的权重和反向计算的梯度值，并使用优化器通过 Worker 上传的梯度值对模型进行更新。

worker充当计算节点负责模型训练，执行网络的正反向计算，反向计算的梯度值通过 Push 接口上传至 Server 中，通过 Pull 接口把 Server 更新好的模型下载到 Worker 本地。

整个系统的工作流程分为4个阶段：

1. Pull Weights: 所有worker从参数服务器获取权重参数
2. Push Gradients: 每一个worker使用本地的训练数据训练本地模型，生成本地梯度，之后将梯度上传参数服务器
3. Aggregate Gradients：收集到所有计算节点发送的梯度后，对梯度进行求和
4. Model Update：计算出累加梯度，参数服务器使用这个累加梯度来更新位于集中服务器上的模型参数

将模型划分为N个参数服务器，每个参数服务器负责更新1/N的模型参数。实际上是将模型参数分片（sharded model）并存储在多个参数服务器上，可以缓解参数服务器一侧的网络瓶颈问题，使得参数服务器之间的通信负载减少，提高整体的通信效率。

注意：

• 数据分配：每个worker分配到的数据通常是不相同的，这是为了确保数据的多样性和模型的泛化能力。
• 参数分配：在参数服务器架构中，所有的worker共享同一套模型参数，这些参数存储在参数服务器上，worker通过网络获取和更新这些参数。