命令行torch.ditributed.launch之后的参数:
nnodes:节点(机器)数
node_rank:节点(机器)的序号,从0开始
nproc_per_node:一个节点(单机)进程数【单机GPU数】【单机情况下只有这一个参数需要指定,其余可由launch通过环境自动配置】
master_addr:主进程rank0的IP地址
master_port:主进程rank0(注意不是主机)的端口号
代码os.environ中的参数:
【一般一个进程对应一个GPU】
WORLD_SIZE:所有节点的进程数【所有机器的GPU总数】
RANK:所有节点的全局进程号,从0开始【全局GPU号】
LOCAL_RANK:本节点上的局部进程号,从0开始【本机局部GPU号】
(单机多卡情况下,RANK=LOCAL_RANK)