torch 多卡并行

（1）设置要使用的GPU

device_ids = [0,1,2]  
# 给torch分配gpu的虚拟卡号，使用1张卡[0]，使用3张卡[0,1,2]，使用4张卡[0,1,2,4],必须从0开始！

os.environ['CUDA_VISIBLE_DEVICES'] = '1,2,3'   
#本次实验要使用的gpu的物理编号，比如有一台4卡的服务器，它的卡物理编号应该是 ‘0,1,2,3’，用前4张卡就为 ‘0,1,2,3’ ，用后三张卡 '1,2,3'，,不一定从0开始！

（2）model parallel

if(len(device_ids) != 1):
    model = nn.DataParallel(model, device_ids=device_ids)

（3） config文件
若使用的是 yml 配置config，其中不能有中文字符，中文括号也不行，不然解码错误，如上文中 #后注释的部分中有中文也会报错