DataParallel layers (multi-GPU, distributed) torch分布式函数
DataParallel layers (multi-GPU, distributed)
DataParallel
class torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
在模块级实现数据并行。
此容器通过在批处理维度中分块(其他对象将在每个设备上复制一次),在指定的设备上分割输入,从而并行化给定模块的应用程序。在正向传递过程中,模块被复制到每个设备上,每个副本处理输入的一部分。在向后传递过程中,每个副
原创
2021-02-24 15:35:15 ·
418 阅读 ·
0 评论