Horovod：分布式深度学习框架

１、流程

horovod初始化 —— >进程分配 ——> 训练参数配置 —— >模型参数广播 ——> 分布式Optimizer ——> 模型保存

２、使用方法

简略快速了解：Horovod使用说明
四部分详细：Horovod介绍

３、

在单机4卡的机上起训练，只需执行以下命令:

horovodrun -np 4 -H localhost:4 python train.py

在4机，每机4卡的机子上起训练，只需在一个机子上执行以下命令即可：

horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 python train.py

注意无论是单机多卡，还是多机多卡，都只需在一个机子上执行一次命令即可，其他机horovod会用MPI启动进程和传递数据。