多显卡服务器下pytorch 指定某个 gpu训练与多 gpu并行训练的方法

一 . 指定一个 gpu训练的两种方法:

1.代码中指定

import torch
torch.cuda.set_device(id)

2.终端中指定

$ CUDA_VISIBLE_DEVICES=id python 程序名

其中id是gpu编号

二 . 多 gpu并行训练:

bashtorch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)

该函数实现了在module级别上的数据并行使用,注意batch size要大于GPU的数量。
参数 :

module:需要多GPU训练的网络模型
device_ids: GPU的编号(默认全部GPU,或[0,1] ,[0,1,2])
output_device:(默认是device_ids[0])
dim:tensors被分散的维度,默认是0

在保存模型时要注意要加上"module",例如:

network.module.state_dict()

Done！！！