问题解答:你的GPU最好得是全部的,连续的指定。否则你的rank可能不等于你加载的GPU_id.
问题解决:通过os.environ[“CUDA_VISIBLE_DEVICES”] = "0, 3"来指定GPU,实际多GPU时全用。
import os, sys
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 3"
问题解答:你的GPU最好得是全部的,连续的指定。否则你的rank可能不等于你加载的GPU_id.
问题解决:通过os.environ[“CUDA_VISIBLE_DEVICES”] = "0, 3"来指定GPU,实际多GPU时全用。
import os, sys
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 3"