在GPU上训练PyTorch代码

PyTorch操作

Py Torch允许我们在程序内部进行计算时，无缝地将数据移动到GPU。当我们使用GPU时，我们可以使用.cuda()方法，当我们使用CPU时，我们可以使用.CPU()方法。
我们也可以使用.to()方法,如果要进入GPU，我们要写入to.(‘cuda’)，要进入CPU，我们要写入to.(‘CPU’).我们将看到一个使用前两个的示例，然后我们将默认始终使用to（）变量。

要在培训过程中使用GPU，有两个基本要求。

• 数据必须在GPU
• 网络必须在GPU。
  默认情况下，当创建PyTorch张量或Py Torch神经网络模块时，相应的数据在CPU上初始化。具体来说，数据存在于CPU的内存中。
  现在，让我们创建一个张量和一个网络，看看我们如何从CPU转移到GPU。

t = torch.ones(1,1,28,28)
network = Network()

现在，我们调用cuda（）方法，

t = t.cuda()
network = network.cuda()

查看是否在GPU上：

gpu_pred = network(t)
gpu_pred.device
#device(type='cuda', index=0)

同样，也可以将在GPU上的数据重新放到CPU上面

t = t.cpu()
network = network.cpu()
cpu_pred = network(t)
cpu_pred.device
#device(type='cpu')

tensor在不同设备上的操作

GPU和CPU是基于数据进行计算的计算设备，因此在计算中直接相互使用的任何两个值都必须存在于同一设备上。
下面的代码是验证不在同一个设备上的操作将会出现错误。

t1 = torch.tensor([
    [1,2],
    [3,4]
])

t2 = torch.tensor([
    [5,6],
    [7,8]
])
t1.device, t2.device
#(device(type='cpu'), device(type='cpu'))
t1 = t1.to('cuda')
t1.device
#device(type='cuda', index=0)
try: 
    t1 + t2
except Exception as e:
    print(e)
#expected device cuda:0 but got device cpu
try: 
    t2 + t1
except Exception as e: 
    print(e)

#expected device cpu but got device cuda:0

从上面的代码中可以看出，操作符前后的数据在不同的设备上，报错的信息也发生了不同。二进制加号操作期望第二个参数与第一个参数具有相同的设备。理解此错误的含义有助于调试这些类型的设备不匹配。
将两个tensor都放在同一个设备上：

t2 = t2.to('cuda')
t1 + t2
# tensor([[ 6,  8],
#         [10, 12]], device='cuda:0')

网络的不同设备上

在上面的实例中
网络也可以放到GPU上，具体的实质是什么呢？

network = network.cuda()

通过在前面的文章中使用过的网络

network = Network()
for name, param in network.named_parameters():
    print(name, '\t\t', param.shape)

# conv1.weight        torch.Size([6, 1, 5, 5])
# conv1.bias          torch.Size([6])
# conv2.weight        torch.Size([12, 6, 5, 5])
# conv2.bias          torch.Size([12])
# fc1.weight          torch.Size([120, 192])
# fc1.bias            torch.Size([120])
# fc2.weight          torch.Size([60, 120])
# fc2.bias            torch.Size([60])
# out.weight          torch.Size([10, 60])
# out.bias            torch.Size([10])


for n, p in network.named_parameters():
    print(p.device, '', n)

# cpu  conv1.weight
# cpu  conv1.bias
# cpu  conv2.weight
# cpu  conv2.bias
# cpu  fc1.weight
# cpu  fc1.bias
# cpu  fc2.weight
# cpu  fc2.bias
# cpu  out.weight
# cpu  out.bias

在这里，我们创建了一个PyTorch网络，并迭代了该网络的参数。正如我们所见，网络的参数是网络内部的权重和偏差。换句话说，这些只是我们已经看到的存在于设备上的张量。让我们通过检查每个参数的设备来验证这一点。所有的权重和偏差张量都在CPU上。
这向我们表明，默认情况下，网络中的所有参数都在CPU上初始化。
这也就解释了网络也可以放到GPU上的实质：网络等模块实例实际上没有设备，不是存在于设备上的网络，而是存在于设备上的网络中的张量。（网络在某个设备上也就是说是网络上的参数张量存在某个设备上）

network.to('cuda')
for n, p in network.named_parameters():
    print(p.device, '', n)

# cuda:0  conv1.weight
# cuda:0  conv1.bias
# cuda:0  conv2.weight
# cuda:0  conv2.bias
# cuda:0  fc1.weight
# cuda:0  fc1.bias
# cuda:0  fc2.weight
# cuda:0  fc2.bias
# cuda:0  out.weight
# cuda:0  out.bias

**总结：**一般使用to()方法进行设备的转换，用该方法可以编写设备无关的代码，将设备device作为参数传递，增加代码的效率。