pytorch单机多GPU训练方式（微调bert）

本来是用Dataparallel来微调，但是发现gpu0上负载太大了，后来上面一看，pytorch官网推荐使用DistributedDataParallel，这个方法可以用于多机多卡或者单机多卡，速度和各方面都比Dataparallel要好很多。
我主要看了下面两个博客：
【分布式训练】单机多卡的正确打开方式（三）：PyTorch
pytorch(分布式)数据并行个人实践总结——DataParallel/DistributedDataParallel

这里说一下Dataparallel和DistributedDataparallel在使用时的区别。比如有三张卡（也就是3张gpu），Batch=30。

1. Dataparallel只开一个进程，DistributedDataparallel有几张卡开几个进程，不过需要在执行程序时手动设置。
2. Dataparallel返回的loss是3张卡的loss，所以需要mean一下，这样才是整个batch的loss，也就是Dataparallel会自动将输入的一个batch的数据切分成3份，每张卡分别计算一部分，也就是10份。
   而DistributedDataparallel是不会自动切分数据的，所以在Dataloader中，需要将sampler设置为DistributedSampler，具体见下面的代码。DistributedDataparallel是将整个数据集切分为3份，然后每一个进程使用其中的一份，但是每个进程的batch还是30。
3. 在保存模型时，Dataparallel和DistributedDataparallel都需要使用model.module.state_dict来保存模型，而不是model.state_dict，不过DistributedDataparallel还需要选择一个进程的模型保存，具体见代码。
4. 执行DistributedDataparallel的程序是要用命令行执行，python -m torch.distributed.launch --nproc_per_node=3 main.py, 其中 nproc_per_node指定了要用为每一张卡开一个进程。
5. Dataparallel只开一个进程，默认是0号GPU为master，也就是模型会放在0号GPU上，然后其他GPU上是模型的浅拷贝，步骤2中得到的数据会分别送到每个GPU上独立并行的进行forward过程，然后主GPU会收集loss，loss平均后分发给每个GPU进行反向传播（但此时并不更新参数，仅仅是反向传播计算梯度），然后各GPU将梯度汇总到主GPU，进行梯度下降，并更新模型参数，然后将参数广播到其余GPU。可以看到，在上述过程中，主GPU做了很多事，所以在这种并行方式下，主GPU的显卡占用率要比其他gpu高很多。
6. DistributedDataparallel为每个GPU开一个进程，没有主GPU，每个GPU执行相同的任务，每个进程具有自己的 optimizer ，并独立完成所有的优化步骤，进程内与一般的训练无异。在各进程梯度计算完成之后，各进程需要将梯度进行汇总平均，然后再由 rank=0 的进程，将其 broadcast 到所有进程。之后，各进程用该梯度来独立的更新参数。相较于 Dataparallel，DistributedDataparallel传输的数据量更少，因此速度更快，效率更高。

import random
import numpy as np
from transformers import AlbertTokenizer, AlbertForMaskedLM, AdamW, get_linear_schedule_with_warmup, \
    DataCollatorForLanguageModeling
from torch.nn.parallel import DistributedDataParallel
from torch.utils.data import Dataset, DataLoader, RandomSampler
from torch.utils.data.distributed import DistributedSampler
import torch
import time
from utils import format_time
from utils import read_data

torch.distributed.init_process_group(backend='nccl')

tokenizer = AlbertTokenizer.from_pretrained('albert-base-v2', cache_dir='../language_model/albert')
model = AlbertForMaskedLM.from_pretrained('../language_model/albert')

seed_val = 42
random.seed(seed_val)
np.random.seed(seed_val)
torch.manual_seed(seed_val