Pytorch分布式训练/多卡训练DDP——模型初始化(torch.distribute 与 DDP的区别)

最近看b站上霹雳吧啦Wz的多卡训练教程发现他有在模型初始化的时候,手动将主卡的模型初始化权重load到其他卡上。而之前在知乎或CSDN上看到的教程并没有这么做

所以这一步到底是不是应该的呢

根据 [原创][深度][PyTorch] DDP系列第二篇:实现原理与源代码解析 - 知乎 (zhihu.com)

model = DDP(model)

当执行了这一步之后,DDP做的事是

  • 把parameter,buffer从master节点传到其他节点,使所有进程上的状态一致。

DDP通过这一步保证所有进程的初始状态一致。所以,请确保在这一步之后,你的代码不会再修改模型的任何东西了,包括添加、修改、删除parameter和buffer!

从本质上讲,当一个模型的网络结构被定义后,其状态就是由parameter和buffer的迭代组合表示的。当我们保存模型,调用model.staic_dict()的时候,我们同时会得到模型的parameter和buffer;也就是说,在DDP中,如果我们要在不同进程中维持相同的状态,我们不光要传递parameter的梯度,也要传递buffer。事实上,DDP就是这么做的。当每次网络传播开始前,其都会把master节点上的buffer广播给其他节点,维持状态的统一。

所以,在外套DDP之前,模型只是在主卡上有,此时模型初始化,再套DDP之后,模型和初始化的权值会传到其他节点,保持一致

所以,在模型初始化的时候,手动将主卡的模型初始化权重load到其他卡上是没必要的,除非是在外套DDP之后再初始化

torch.distributed 做的事只是多卡通讯
模型,梯度传递这些都是DDP做的

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值