进行多卡训练时,如果设备batch_size = 6,使用3个GPU,则调试时,会显示batch_size = 2,即分配到一张GPU卡上的样本数量。
PyTorch训练(十):多卡训练【CUDA_VISIBLE_DEVICES=‘0,2,3‘ python main.py】【前提是代码中已经设置好了DP或DDP训练模式】【训练样本平均分配到各卡】
于 2022-09-08 19:18:57 首次发布
进行多卡训练时,如果设备batch_size = 6,使用3个GPU,则调试时,会显示batch_size = 2,即分配到一张GPU卡上的样本数量。