pytorch的理解-pytorch在CPU->GPU上的训练

https://www.cnblogs.com/zle1992/p/9047905.html

1、cpu->gpu迁移原理

将模型和数据从内存复制到GPU的显存中，就可以使用GPU进行训练，其操作方法是将数据和模型都使用.cuda()方法。

2、判断GPU是否可以使用：

通过torch.cuda.is_available()来返回值判断GPU是否可以使用

通过torch.cuda.device_count()获取能够使用的GPU数量

常用的判断

1 if torch.cuda.is_available():
2     ten1 = ten1.cuda()
3     MyModel = MyModel.cuda() 

3、数据迁移（包括Tensor类型和Variable类型）

直接使用.cuda()方法进行数据迁移，默认使用的是0号显卡，可以使用.cuda(<显卡号数>)将数据存储在指定的显卡中。

Tensor类型，直接使用.cuda()方法

1 ten1 = torch.FloatTensor(2)
3 ten1_cuda = ten1.cuda()

Variable类型（使用Variable容器装载数据，可以进行反向传播来实现自动求导），将Tensor.cuda()后装载在Variable中和将Tensor装载在Variable中后再使用.cuda()是同样的。

ten1 = torch.FloatTensor(2)
>>>  6.1101e+24
     4.5659e-41
    [torch.FloatTensor of size 2]

ten1_cuda = ten1.cuda()
>>>>  6.1101e+24
      4.5659e-41
    [torch.cuda.FloatTensor of size 2 (GPU 0)]

V1_cpu = autograd.Variable(ten1)
>>>> Variable containing:
     6.1101e+24
     4.5659e-41
    [torch.FloatTensor of size 2]

V2 = autograd.Variable(ten1_cuda)
>>>> Variable containing:
     6.1101e+24
     4.5659e-41
    [torch.cuda.FloatTensor of size 2 (GPU 0)]

V1 = V1_cpu.cuda()
>>>> Variable containing:
     6.1101e+24
     4.5659e-41
    [torch.cuda.FloatTensor of size 2 (GPU 0)]

模型迁移

将自己创建的模型和torch.nn中的模型转移到显卡中。可以将模型看做一种Variable容器，对他进行cuda处理，是将模型中所有分参数转移到显卡中。

torch.nn模型使用.cuda()后会将模型中的参数都转移到显卡中，变为torch.cuda.Tensor(FloatTensor或LongTensor)类型

自己模型的迁移，因为自己的模型继承了torch.nn.Module，所以可以将模型中用到的参数都存储到显存中去。但是模型中的方法创建的Tensor不会默认变为cuda类型，需要自己实现。