具体来说,如果您的模型被 nn.parallel.DistributedDataParallel
包装,那么使用 model.module
可以访问原始的模型对象,而不是并行包装的对象。假设在一个进程里你改变了 model.module
的参数,那么该进程中被 nn.parallel.DistributedDataParallel
包装的模型的参数也会改变(其它进程不会改变,因为还没有进行同步)。
model.module使用
最新推荐文章于 2024-06-07 21:58:44 发布