使用GPU进行神经网络计算详解

Pytorch学习笔记（六）：使用GPU的简单LeNet网络模型中也提到了如何实现GPU上的运算，虽然不详细，但是也足够。

总结：（如果对于总结知识已经比较熟悉，那么下面的详解可以不用看）

1. 默认CPU进行计算。
2. CPU上变量或模型不能与GPU上变量或模型进行计算，即模型与变量必须在同一个设备上。
3. .cuda()可以实现将变量或者模型移至GPU；.cpu()可以将其移至CPU。
4. 也可以使用device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') ，.to(device)将变量或者模型移至GPU。

GPU计算

对复杂的神经网络和大规模的数据来说，使用CPU来计算可能不够高效。下面将介绍如何使用单块NVIDIA GPU来计算。所以需要确保已经安装好了PyTorch GPU版本。准备工作都完成后，下面就可以通过nvidia-smi命令来查看显卡信息了。

!nvidia-smi  # 对Linux/macOS用户有效

输出：