【分布式训练】单机多卡的正确打开方式:理论基础
- 模型并行 vs 数据并行
- 同步更新 vs 异步更新
- Parameter Server算法 vs Ring AllReduce算法
- Reference http://fyubang.com/2019/07/08/distributed-training/
【Horovod】解析
【分布式训练】单机多卡的正确打开方式:理论基础
【Horovod】解析
转载于:https://my.oschina.net/u/4166299/blog/3077639