跟李沐学AI-17 使用GPU

查看本机信息  nvidia-smi

!nvidia-smi

#===========
#打开cmd,输入：

nvidia-smi

1、计算设备

'''
在PyTorch中，CPU和GPU可以用torch.device('cpu') 和torch.device('cuda')表示。 
应该注意的是，cpu设备意味着所有物理CPU和内存， 这意味着PyTorch的计算将尝试使用所有CPU核心。 
然而，gpu设备只代表一个卡和相应的显存。 
如果有多个GPU，我们使用torch.device(f'cuda:{i}') 来表示i 块GPU（i  从0 开始）。 
另外，cuda:0和cuda是等价的。

import torch
'''
import torch
from torch import nn

torch.device('cpu'), torch.device('cuda'), torch.cuda.device('cuda:1')
#(device(type='cpu'), device(type='cuda'), device(type='cuda', index=1))

#我们可以查询可用gpu的数量。
torch.cuda.device_count()  #1

#现在我们定义了两个方便的函数， 这两个函数允许我们在不存在所需所有GPU的情况下运行代码。
def try_gpu(i=0):  #@save
    """如果存在，则返回gpu(i)，否则返回cpu()"""
    if torch.cuda.device_count() >= i + 1:
        return torch.device(f'cuda:{i}')
    return torch.device('cpu')

def try_all_gpus():  #@save
    """返回所有可用的GPU，如果没有GPU，则返回[cpu(),]"""
    devices = [torch.device(f'cuda:{i}')
             for i in range(torch.cuda.device_count())]
    return devices if devices else [torch.device('cpu')]

try_gpu(), try_gpu(10), try_all_gpus()

'''
(device(type='cuda', index=0),

 device(type='cpu'),

 [device(type='cuda', index=0), device(type='cuda', index=1)])
'''

2、张量与GPU

1、查询张量所在设备

#查询张量所在的设备。 默认情况下，张量是在CPU上创建的。
x = torch.tensor([1, 2, 3])
x.device

#device(type='cpu')
'''
需要注意的是，无论何时我们要对多个项进行操作， 它们都必须在同一个设备上
例如，如果我们对两个张量求和， 我们需要确保两个张量都位于同一个设备上， 
否则框架将不知道在哪里存储结果，甚至不知道在哪里执行计算。
'''

2、 存储在GPU上

X = torch.ones(2, 3, device=try_gpu())
print(X)
'''
tensor([[1., 1., 1.],
        [1., 1., 1.]], device='cuda:0')
'''
Y = torch.rand(2, 3, device=try_gpu(1))
print(Y)
'''gpu（1）不存在，所以返回cpu
tensor([[0.5208, 0.1775, 0.0536],
        [0.2094, 0.1113, 0.5755]])  cpu
'''

3、复制

#见上文可知，x在cuda 上，y 在cpu 上

# Z = X.cuda(1)  #从一个cuda 拷贝到另一个指定编号的cuda 。若改变好不存在，会报错
# Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!
Z = X.cpu()  #拷贝到cpu
print(X)
print(Z)

print(Y + Z)
# 假设变量X已经存在于第二个GPU上。 如果我们还是调用X.cuda(0)会发生什么？ 它将返回X，而不会复制并分配新内存。
print(X.cuda() is X)  #true

#  但是在设备（CPU、GPU和其他机器）之间传输数据比计算慢得多
'''
当我们打印张量或将张量转换为NumPy格式时， 如果数据不在内存中，框架会首先将其复制到内存中， 这会导致额外的传输开销。 
更糟糕的是，它现在受制于全局解释器锁，使得一切都得等待Python完成。
'''

3、神经网络与GPU

net = nn.Sequential(nn.Linear(3, 1))
# 类似地，神经网络模型可以指定设备。 下面的代码将模型参数放在GPU上。
net = net.to(device=try_gpu()) #移动到gpu
# 当输入为GPU上的张量时，模型将在同一GPU上计算结果。
print(net(X))
'''
tensor([[0.3718],
        [0.3718]], device='cuda:0', grad_fn=<AddmmBackward0>)
'''

# ?让我们确认模型参数存储在同一个GPU上。
# 查看某一参数所在的设备
print(net[0].weight.data.device)  #cuda:0