分布式
文章平均质量分 93
分布式
大风车滴呀滴溜溜地转
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
展开
-
DeepSpeed ZeRO 通信量分析
假设模型参数为Ψ。原创 2024-06-06 13:25:00 · 1386 阅读 · 0 评论 -
分布式机器学习——模型并行训练
首先还是来介绍一下分布式系统中的并行方式,分为数据并行和模型并行,其实还有一种并行方式:Pipeline并行。Pipeline并行方式有的时候会单独存在,有的时候又归为模型并行。这篇文章重点就介绍一下模型并行,关于Pipeline并行也会简单介绍一下。MXNet框架的创始人李沐在知乎上举了一个例子:假设我们准备盖这么一个双子楼,有两个工程队,我有两个选择,① 两个工程队各盖一栋,从建造到装修全部完成,最后把两栋楼连起来;② 第一个工程队先把两栋楼都盖好,第二个工程队负责装修。第一个方案的好处是并行度原创 2021-08-05 11:10:33 · 6034 阅读 · 0 评论