Pytorch Distributed 初始化方法
参考文献
https://pytorch.org/docs/master/distributed.html
代码
https://github.com/overfitover/pytorch-distributed
欢迎来star me.
初始化
torch.distributed.init_process_group(backend, init_method='env://', **kwargs)
参数说明
- backend(str): 后端选择,包括 tcp mpi gloo
- init_method(str, optional): 用来初始化包的URL, 用来做并发控制的共享方式
- world_size(int, optional): 参与工作的进程数
- rank(int, optional): 当前进程的rank
- group_name(str, optional): 用来标记这组进程。
init_method()
有三种方法:
- file:// 共享文件系统
- tcp:// IP组播
- env:// 环境变量 (默认是这个)