pytorch指定用多张显卡训练_pytorch 指定gpu训练与多gpu并行训练示例

pytorch 指定gpu训练与多gpu并行训练示例

一. 指定一个gpu训练的两种方法：

1.代码中指定

import torch

torch.cuda.set_device(id)

2.终端中指定

CUDA_VISIBLE_DEVICES=1 python 你的程序

其中id就是你的gpu编号

二. 多gpu并行训练：

torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)

该函数实现了在module级别上的数据并行使用，注意batch size要大于GPU的数量。

参数 ：

module：需要多GPU训练的网络模型

device_ids： GPU的编号(默认全部GPU，或[0,1] ,[0,1,2])

output_device：(默认是device_ids[0])

dim：tensors被分散的维度，默认是0

在保存模型时要注意要加上"module",例如：

network.module.state_dict()

以上这篇pytorch 指定gpu训练与多gpu并行训练示例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

时间： 2019-12-28

最近将Pytorch程序迁移到GPU上去的一些工作和思考 环境:Ubuntu 16.04.3 Python版本:3.5.2 Pytorch版本:0.4.0 0. 序言 大家知道,在深度学习中使用GPU来对模型进行训练是可以通过并行