pytorch distributed 分布式训练踩坑记录

错误

loss backward

one of the variables needed for gradient computation has been modified by an inplace operation

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [2048]] is at version 4; expected version 3 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

经过调试发现，当使用nn.DataParallel并行训练或者单卡训练均可正常运行；另外如果将两次模型调用集成到model中，即通过out1, out2 = model(input0, input1) 的方式在分布式训练下也不会报错。
由此可以猜测：在分布式训练中，如果对同一模型进行多次调用则会触发以上报错，即nn.parallel.DistributedDataParallel方法封装的模型，forword()函数和backward()函数必须交替执行，如果执行多个（次）forward()然后执行一次backward()则会报错。
那么解决此问题的入手点则可以聚焦到nn.parallel.DistributedDataParallel接口上。 通过查询PyTorch官方文档发现此接口下的两个参数：

• find_unused_parameters: 如果模型的输出有不需要进行反向传播的，此参数需要设置为True；若你的代码运行后卡住不动，基本上就是该参数的问题。
• broadcast_buffers: 该参数默认为True，设置为True时，在模型执行forward之前，gpu0会把buffer中的参数值全部覆盖到别的gpu上。

model = nn.parallel.DistributedDataParallel(model, 
                                             device_ids=[args.local_rank], 
                                             broadcast_buffers=False,
                                             find_unused_parameters=True)

reference：
知乎大神

model cuda设置

RuntimeError: NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:859, invalid usage, NCCL version 2.7.8
ncclInvalidUsage: This usually reflects invalid usage of NCCL library (such as too many async ops, too many collectives at once, mixing streams in a group, etc).

这是因为model和local_rank所指定device不一致引起的错误。

model.cuda(args.local_rank)
model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[args.local_rank],
                                                  broadcast_buffers=False,
                                                  find_unused_parameters=True)

数据加载

使用distributed加载数据集，需要使用DistributedSampler自动为每个gpu分配数据，但需要注意的是sampler和shuffle=True不能并存。

train_sampler = DistributedSampler(trainset)
train_loader = torch.utils.data.DataLoader(trainset,
                                           batch_size=args.train_batch_size,
                                           num_workers=args.train_workers,
                                           sampler=train_sampler)```