本节将详细介绍如何进行神经网络的分布式训练。其中1.1将结合MPI介绍分布式训练的基本流程,1.2与1.3将分别介绍如何使用
torch.distributed
以及Horovod进行神经网络的分布式训练。
1 PyTorch分布式训练
1.1 使用MPI进行分布式训练
下面讲解如何利用MPI进行PyTorch的分布式训练。 这里主要介绍的是数据并行的分布式方法:每一块GPU都有同一个模型的副本,仅加载不同的数据进行训练。例如,使用两个节点,共8块GPU进行基于数据并
下面讲解如何利用MPI进行PyTorch的分布式训练。 这里主要介绍的是数据并行的分布式方法:每一块GPU都有同一个模型的副本,仅加载不同的数据进行训练。例如,使用两个节点,共8块GPU进行基于数据并